张良为太子少傅，听说了这事，立刻去拜见刘邦。张良说了许多道理，刘邦居然不理。张良自跟从刘邦以来，刘邦对他几乎是言听计从，唯独这次例外，张良知道难以劝谏，便在家里装病。太子太傅叔孙通听说了，进宫直言抗谏说：“从前晋献公宠爱骊姬，废去太子，晋国乱了二十年；秦始皇不早立扶苏，致使秦国灭亡，这是您亲眼所见。吕后与陛下是患难夫妻，只生太子一人，且太子仁孝，天下共知，为什么要无端废弃呢？如果您不听，我便以死相谏。”说着就要拔剑自刎，刘邦连忙止住说：“我本是说说而已，并未当真。”
不久，刘邦特召太子宴饮，实际上想考察虚实。“商山四皓”听说了，也跟太子一起进宫。刘邦见太子身后坐着四位须眉似雪、道貌岸然的老者，十分惊异地问是什么人。四位老者一一自叙姓名。刘邦非常惊愕地说：“我访聘你们已有好几年，你们总是不来，现在难道是跟我的儿子交游吗？”“四皓”齐声回答说：“陛下轻贱士人，随便辱骂，我们忍受不了污辱，才不来见您。现在听说太子仁厚爱士，天下士人都伸长了脖子盼望太子，愿为太子效死。我们几个人特意远道而来，是想敬奉辅佐太子。”刘邦听了，叹息不已。等太子和“四皓”离开时，刘邦急忙把戚姬叫来，指点着“四皓”的背影说：“不是我不愿立如意为太子，实在是太子羽翼已成，已不能废弃了。”戚姬听后，知道再无希望，当即悲凄欲绝。刘邦也不免伤感，为戚姬作“鸿鹄高飞”词，高声吟唱，音调凄楚。