1958年，黄佐临把滑稽戏《三毛学生意》搬上银幕，当时还是青年导演的谢晋看过影片后，深为片中滑稽戏演员的表演和他们创造的喜剧效果所折服，产生了要为这些喜剧演员拍一部喜剧电影的想法。 1962年，时任中宣部部长的陆定一到上影厂视察，指示上影厂要拍一些喜剧。于是上影厂决定同时推出三部喜剧。当时，恰逢纪念毛主席提出“发展体育运动，增强人民体质”的号召十周年。编剧于伶在一张报纸上看到龙华肉联厂获得市级体育锻炼先进的报道，其中介绍道肉联厂工会主席带领大家晒太阳，做工间操，保持健康。于是，于伶带着几位编剧下工厂深入生活，写出了剧本《大李小李和老李》。导演谢晋接到拍摄任务后，一边改剧本，一边就想到了那些滑稽戏演员，决定邀请他们出演影片。