然而，与精明的人交往，就得时时小心，处处提防，稍有不慎就会落入泥淖和陷阱中。交往得越久，相处得越深，就越是感到被欺骗、被愚弄，当然也就越是不自在。如果没有办法与他断交，那么他就会以精明手腕去对付此人。这正应了郑板桥的一句话：“试看世间会打算的，何曾打算得别人一点，真是算尽自家耳！”
曾国藩是一个精明的人，他弟弟曾国荃也是一个精明的人，他们就因为精明吃过不少亏。
对于读书人，曾国藩还能以诚相待，他说：“人以伪来，我以诚往，久之则伪者亦共趋于诚矣。”但是对于官场的交接，他们兄弟俩却不堪应付。他们懂得人情世故，但又怀着一肚子的不合时宜，既不能硬，又不能软，所以到处碰壁。这是很自然的，你对人诚恳，人也对你诚恳；你对人诡秘，人也对你诡秘；你对人一肚子不合时宜，人也会对你一肚子不合时宜。
而曾国藩的朋友迪安有一个优点，就是全然不懂人情世故，虽然他也有一肚子的不合时宜，但他却一味浑含，永不发露，所以他能悠然自得，安然无恙。而曾国藩兄弟却时时发露，总喜欢议论和表现，处处显露精明，其实处处不精明。曾国藩提醒曾国荃：这终究不是载福之道，很可能会给我们带来灾难。