大厦最开始定的是18层，但之后大厦层数节节攀升，一直飚到72层。此时的史玉柱就像打了鸡血一样，明知大厦的预算超过10亿，手里的资金只有2亿，还是不停地加码。最终，巨人大厦的轰然倒地让不可一世的史玉柱尝尽了苦头。他曾经在最后的关头四处奔走寻觅资金，但“所有的谈判都失败了”。
随之而来的是全国媒体的一哄而上，成千上万篇文章骂他，欠下的债也是个极其恐怖的数字。史玉柱最难熬的日子是1998年上半年，那时，他连一张飞机票也买不起。“有一天，为了到无锡去办事，我只能找副总借，他个人借了我一张飞机票的钱，1000元。”到了无锡后，他住的是30元一晚的招待所。女招待员认出了他，没有讽刺他，反而给了他一盆水果。那段日子，史玉柱一贫如洗。如果有人给那时的史玉柱拍摄一些照片，那上面的脸孔必定是极度张狂到失败后的落寞，焦急、忧虑是史玉柱那时最生动的写照。
经历了这次失败，史玉柱开始反思。他觉得性格中一些癫狂的成分是他失败的原因。他想找一个地方静静，于是就有了一年多的南京隐居生活。
在中山陵前面有一片树林，史玉柱经常带着一本书和一个面包到那里充电。那段时间，他每天10点左右起床，然后下楼开车往林子那边走，路上会买好面包和饮料。部下在外边做市场，他只用手机遥控。晚上快天黑了就回去，在大排档随便吃一点，一天就这样过去了。