情人李氏
23岁中状元时,秦桧党羽曹泳在朝堂上当众为女儿向张孝祥提亲,孝祥“不答”,当时他的身份是未婚的。但其实,早在十六岁时,他便同一位姓李的女子同居生子,儿子张同之,后来终生至仕。但在当时,李氏一直没有在张家取得合法地位,族谱中亦没有将她的名字收录其中,从1971年偶然发现的张同之的墓志铭上,更附为证。宛敏灏先生认为,孝祥在与时氏结婚前,被迫将李氏与同之送走,李氏入道观出家,从此二人再未谋面。《于湖词》中本来有几首意义晦涩的情词因此得解,其实是张孝祥怀念李氏之作,如《念奴娇·风帆更起》,《木兰花慢·送归云去雁》,《木兰花慢·紫箫吹散后》,阐述了词人对失去情人,痛别爱子的哀痛,悔恨与凄凉的心情。李氏究竟身份如何,这段感情因何要到被迫送别妻子,还是不解之谜,唯一可知的是,较之时氏,张孝祥对李氏的感情深厚得多。