悲喜同日
李慈铭十四岁时，祖母病重，乃奉双亲之命迎娶大他五岁的表姐马淑人为妻。本意是要“冲喜”，无奈，婚礼刚完成，祖母便于当天去世。这件憾事始终是李慈铭心中难以排除的阴影，使得他与妻子一直维持着如姐弟一般的感情，更影响了李慈铭日后的感情生活。
憾无子嗣
李慈铭婚后无子，在传宗接代的压力下，曾于三十七岁、四十岁、五十九岁时，先后纳妾三名，但还是未能生下一子半息。为此，他一直耿耿于怀。到了后来，竟经常流连于风月场所，据说因为常到妓院天下美女都看尽，所以有了双性恋的倾向。而且还染上了“好男色”之癖。
嗜书成癖
李慈铭考运不佳，在官场也不甚得意，收入有限，寄居北京城的费用浩繁，经常举债度日。但据吴振芝从《越缦堂日记》中所见李慈铭先生收支状况分析，发现他每月开销金额中最庞大的费用，竟是买书。在他的日记里，常常记载他到书市疯狂采购的事迹。买书、读书、藏书，成为他自幼至老最为自豪快意之事。某年的冬天非常寒冷，李慈铭的钱全部花在古书上。他无钱买煤，他只好在冰冷中颤栗地熬过一天算一天。他熬夜读书，为求证一事，翻箱倒箧，辛苦非常。他却兴奋地说，“经义悦人，如是如是！”
耿介直露
李慈铭具有爱憎分明的强烈个性，对于自己看不惯的人或事情，常不假辞色的当面或即时破口大骂，以致于一些至交好友，如张之洞等，最后都因故宣告决裂。有时他也会在日记中自我检讨，但由于不喜欢俯仰随人、委曲求全的个性使然，始终不改旧习。不过，他处世虽多有峻厉言行，对于亲族，甚至家仆、亲友遗孤，则多以温情相待，可见是一位性情中人。
