这是一个关于迁徙的爱情的故事。1962年的香港，报社主编周慕云（梁朝伟饰）和太太搬进了一幢公寓，与他们同时搬来的还有另一对年轻的夫妇mdash;mdash;苏丽珍（张曼玉）和她丈夫。苏丽珍在一家贸易公司当秘书，而她的丈夫由于工作关系，常常出差。周慕云的妻子和苏丽珍的丈夫一样，经常不在家，于是独自留守的周慕云和苏丽珍便成了房东太太麻将桌的常客。在逐渐的交往中，周慕云和苏丽珍发现对方有许多与自己共同的兴趣和爱好，比如看武侠小说等等，相互之间也变得越来越熟悉。直至有一天，两人突然发现各自的另一半原来早已成为了一对婚外恋的主角，周慕云和苏丽珍不得不共同来面对这个现实。两颗受伤的心小心翼翼、难舍难分，却最终化成了无缘的伤痛。
那是一种难堪的相对。她一直羞低著头，给他一个接近的机会。 他没有勇气接近。 她掉转身，走了。
身处遥远的异国，周慕云仍无法忘记过去与苏丽珍之间的种种。如果当天她真的答应跟他走，他们现在会不会还在一起？抑或注定分离，各分东西？
也许有人会说，自从他们在同一天搬进同一层楼房，成为门户比邻的邻居，命运已将他们放在一起了。而当他们发现彼此的配偶间竟发生了不可告人的关系的时候，在他们之间更像是牵连著无形的线，要割也割不断。
至今他还能看见那一群漂荡的身影，刹那的相聚。房东夫妇们、自己的妻子周太太、陈先生、陈太太---苏丽珍。楼梯间，走廊上，与她擦肩而过，或微笑寒暄，又何曾想过她那素静的面容，明媚的体态，竟会成为他日深刻的思念。他们在配偶背叛的阴影下，各怀心事地靠近。那是个一切变得飘摇不定、难堪的所在。有时她彷佛倚赖，又突然叛离。他想要占据，但缺乏勇气。想要忤逆，但是面对著她那庄重的神色，他感到说不出来的情怯。
见不着时，愈来愈想。那些背着人偷来的、幽室相守的时光，是多么和煦而平静。那些久候不至的苦等，明知是她却听不见声音的电话，又是多么的炽热和辛烈。直到他作出了远行的决定，才向她道出真心的说话。此时此刻，他不禁想到他真正背叛了的人，也许是她。一切都退去了，香港、1962年、那个陈旧的秘密。不管当初是为了报复或色诱，抑或单纯的慰藉，到最后，只剩下眷顾。
那些消失了的岁月，
仿佛隔着一块
积着灰尘的玻璃，
看得到，抓不着。
他一直在怀念着过去的一切。
如果他能冲破
那块积着灰尘的玻璃，
他会走回早已消失的岁月。