因为这时殿上众臣面面相觑，不知所措，乱哄哄炒作一团，没人能听到他要说的话了。
而跟他一起进殿的人，都被霍光的人杀掉了，只留下假刘贺的性命，因为上官皇太后强烈反对杀死刘贺。
当手下向霍光报告，有一伙人从掖廷出口逃出皇宫，并杀出京城，霍光再看抢到手中的玉玺只是镇纸石，他知道刘贺留有后手。
除了因郭梵和廖福的投靠而铲除的势力外，刘贺在京城另有潜伏人马，可能人数不少。
甚者，当刘贺说出上官太后口谕拟请严氏为皇后之事时，霍光深感后怕，上官这枚棋子竟然未事先向其报备此等要事，且当场强烈反对除掉刘贺，并以武帝遗训的名义，要求将刘贺安全送回昌邑故国。
难道这枚棋子另有所图？
霍光为防夜长梦多，当即令张安世以“护送”的名义亲自率羽林骑押送“刘贺”回昌邑。
同时派出大军2万，由其女婿范明友和邓广汉各领兵1万，出荥阳，进逼昌邑国，以防昌邑国造反。
为避免生灵涂炭，经与霍光谈判达成正式交易。
王太后黄氏巧珠下令不抵抗，交出昌邑王府向汉廷正式备案的5897人的地方军，取消昌邑国号，原行政管辖权划归山阳郡。
但保留王府及其在原昌邑国各地置备的所有财物，并经皇太后恩准赐汤邑3000户于单县和郜城，由王府自行划定区域，报备即可。
另外，王府原有产业自治管理，不归山阳郡管辖。
就这样，刘贺不为汉廷所知的、在单县和郜城两地多年来的经营成果，以及在全国的暗中布置的资源，就保存下来了。
刘贺可以在他的商业王朝继续当王。
汉宣帝在自已的政治地位相对稳固后，考虑到刘贺在原封地昌邑有盘根错节的关系，根基深厚，怕他一旦遇有机会，招兵买马，扩大势力，威胁到自已的帝位。
宣帝以太仆丞张蔽为山阳太守，监视刘贺。
再到后来，宣帝有意将刘贺调离故国。
公元前73年，之前背叛刘贺的王吉被任命为谏议大夫。
公元前67年，王吉回乡省亲，路过昌邑城，由刘贺太多年不见的舅舅黄霸陪同，藉由小妹即贺的母后黄氏安排双方见面。
黄霸，黄家源于屈原的得意爱徒之战国时期“战国四君子”之一的楚国春申君黄歇，家道渊源深厚。
昔日黄歇为救留在秦国做质子的楚国太子熊完回国继承王位，而实施“偷天换日”计划，帮助熊完逃出秦国后，黄歇被扣在秦国，差点被秦王杀掉。
黄霸一脉就是当年黄歇在秦国留下的种，但之后并未被黄歇带回楚国，后来也就幸免被残害黄歇及其族人的楚国权臣李园和王后李嫣所杀。
再后来，楚被秦所灭，而后，秦被汉所灭，熊氏家族没落。
到黄霸这一代，承蒙卫太子刘据恩惠，至南阳出任太守丞，黄氏家族逐渐崛起，是刘贺在奶奶李夫人一脉家族被灭之后不多的可以支撑的外戚势力，但多年来，却刻意疏远刘贺。
此次见面，刘贺方才得知，黄霸与王吉、龚遂，还有夏侯胜以及张安世之父张汤，皆为卫太子刘据的拥趸，并与张安世皆为效忠拥立宣帝的核心成员。
张安世实为宣帝一派潜伏于霍光身边的高级卧底。
亦如当年陈平委曲求全潜伏于吕后及吕家人身边。
而后，在吕后归天后，与周勃等功臣集团成员策划对吕家发动致命一击，并迎汉文帝上位。
张安世之兄张贺便是卫太子政治资产这一脉的幕后策划人。
老张家其实一直与当年太子刘据一脉联系紧密，汉宣帝差点成了他们老张家的女婿，和许平君的婚事也是他们家投资的，张安世的少子张彭祖还和汉宣帝是发小。
在幼小的刘病已落难时，即已投资其未来，可见张贺眼光之独到，真正做到“风物长宜放眼量”，格局和眼界之高远，令人佩服。
而张安世之隐忍更是令人觉得可怕，居然连老谋深算、堪称忍耐之鼻祖的霍光都被他给骗了，给“熬死”了。
张安世在霍光这条船上是步步高升，最后赚得盆满钵满。
他被封为富平侯，成为当时权力仅次于霍光的二把手。
霍光也对其极为信任和倚重。
元平元年（前74年），汉昭帝驾崩后，霍光在拥立和废黜昌邑王刘贺这两件大事上，都很重视他的意见。
当然，他在这两件事情上，也是一如既往地无条件支持霍光。
也可以说，张安世是一个相当有自知之明的人，相比于功力更加深厚的霍光来说，他还是有点不够看，因此他在霍光在世时，不敢明着动，暗的也甚少动。
像他这么聪明的人，自然知道，保持对强者的尊重和服从，才是最为利已的方式，也是对他们最终目标之扶持宣帝上位才是最有利的。
恍然一梦乎！
没想到，张安世居然是宣帝一派势力埋伏在霍光身边的暗谍，并在关键时刻予以霍家致命一击。
刘贺之前还以为，张安世是霍光的小迷弟，，是霍光疯狂而又凶狠的走狗和打手。
亦如其爹张汤是汉武帝手下备受宠信的酷吏，相当于是汉武帝手下疯狂而又凶狠的走狗和打手。