谢晋一开始并没有想让仲星火演吴遥，因为仲星火和饰演宋薇的王馥荔年龄相差20多岁，放在一起不好配戏，更担心他演吴遥会有《李双双》中喜旺的影子，事实证明他的担心是多余的。
由于该片涉及“反右”题材，而当时尚未全面否定“反右”扩大化，所以在影片尚未拍完时，很多人就认为谢晋的这部电影会出事，他的老友甚至认为他是在拍摄一部“丑化党”的电影。
电影中晴岚的羊毛背心从少女时代穿到中年。小说中本来没有关于羊毛背心的描写，谢晋特意加进这个道具和相应细节，以表现人物的不幸遭遇。剧组特意去羊毛衫厂定制了一式两件羊毛背心。服装员将其中一件“做旧”，但谢晋不满意，要求必须让衣服破得可怜，破得凄惨。为此，服装员用碱水煮、刀子刮、砂纸磨，然后做出一个个破洞和补丁，终于达到了谢晋的要求。
为拍摄罗群被下放劳动时遭到农村小孩“袭击”的戏，剧组从当地围观的群众中找了两个小孩子。排练时，两个孩子演起来十分自然，特别是向罗群砸石块的动作，又狠又准，为了防止他们太准确而带来麻烦，实拍时，剧组没敢让他们拿石头，只准他们用泥块砸扮演罗群的石维坚。