煤矿工人勇作(高仓健)失手将一名寻衅滋事的流氓打死后,被判刑入狱,在监狱里,他非常想念自己的妻子光枝(倍赏千惠子),却因害怕耽误她的生活和前途,主动提出离婚,并真心实意地劝她改嫁。
刑满释放前,勇作给光枝写了一封信,说如果她还没有与他人结婚,仍在等待着他的归去,就在家门前的旗杆上挂上一块黄手帕,假如他看不到黄手帕,会就此远走他乡。归家途中,患得患失的勇作碰到一对驾车出行的年轻情侣(武田铁矢、桃井薰),搭乘他们的车游转了一些地方,之后,他才鼓足勇气回到家乡。。二战期间,被派往日本侵占下越南的幸田幸子(高峰秀子饰),在那里认识了有妇之夫富冈兼吾(森雅之饰),继而相恋。战败回国后,幸子在衰败的街道里找到了富冈的家,发现他依然和妻子(中北千枝子饰)生活在一起,并没有离婚。出来后的他们偷偷相会并继续暗中往来,但富冈的态度依然暧昧不清,借口多多。
离开富冈后,走投无路的幸子跟了个洋人生活,之后兼吾找回幸子,幸子再次与他一起,但在伊香保温泉,富冈又看上旅店老板的妻子(冈田茉莉子饰),而幸子发现自己怀孕了。之后,富冈发生意外,他又回来找到幸子,两个人打算开始新的生活……。