光金马门之变，就杀了他昌邑旧臣二百多人，刘贺可谓对其恨之入骨，多年来亦安排杀手刺杀之，但均未能成功。
真正暴露张安世的人性底色，要等到霍光去世之后了。
他在老大哥霍光刚一去世，就实质性地“背叛”了霍家。
他背叛霍家的方式就是利用他曾是霍光战线上的二把手身份，主动配合汉宣帝全面收缴霍家的势力。
他先是被提拔为大司马、车骑将军，兼领尚书事，帮汉宣帝收拢了政权。
在几个月之后，又虚晃一枪，调任为卫将军，统领两宫卫尉，城门、北军兵也隶属他的管辖。
实际上就是以他的名义，帮助汉宣帝接管霍家在京城的重要军权。
霍光死后，霍家没有具大智慧之人可以窥测这些权谋，也未能想到张安世的暗谍身份。
最后，霍家在汉宣帝和张安世一明一暗的配合下，势力基本上被瓦解得差不多了。
狗急跳墙的霍禹密谋造反，导致整个霍家在顷刻之间灰飞烟灭。
也正是因为张安世配合汉宣帝有功，所以霍家被灭族后，嫁到霍家的张安世孙女张敬却能幸免于难。
汉宣帝在位时，张安世的食邑，甚至被加封到了一万零六百户，使其成为两汉史上极其稀缺的万户侯。
他的三个儿子张千秋、张延寿、张彭祖也都提拔到了中郎将、侍中这样的核心岗位。
张安世是闷声发大财的典型。
元康四年（前62年）秋，张安世的人生顺利着陆，病死在任上。
天子赠印绶，送来轻车甲士，谥号敬侯。
而私下与便宜老舅黄霸、母后交流才得知，黄氏本来是要嫁给郑家过继给梁国梁孝王刘武的幼子刘庆宗的。
郑家源于春秋时期的郑恒公，后家道中落。
时任郑家家主的郑荣将刚满月的小儿子隔代过继给梁王刘武，取名“刘庆宗”。
当年郑家投靠梁孝王刘武。郑荣大儿子郑当时被刘武推荐，招到太子刘彻府中，做了太子舍人。
后刘彻登基，为汉武帝，任命郑当时为汝南郡太守。
在完婚前，刘庆宗意外身亡，时梁平王刘襄卒，刘家认为刘庆宗隔代过继，可能不太吉利，即将其退继回郑家。
而黄氏因为之前的婚约则成为郑家未过门的儿媳妇，黄氏为老黄家老来得女，甚为疼爱，也不忍其未婚即活活守寡，过于可怜，即求得郑家一纸休书，还黄氏自由身。
之后才有联姻刘髆之事，一开始刘髆不太乐意，但婚后两人也算相敬如宾，源于彼此都甚为喜爱道家学说及修行。
但后来，黄霸加入拥立卫太子一脉的政治联盟。
成为黄家家主的黄霸出于政治上的考虑，将黄氏巧珠划出家谱，黄家即切断与刘髆、黄氏夫妇的联系，以此向卫太子一脉表忠心。
是故当时贰师将军李广利与宰相刘屈氂暗中趁卫太子刘据死于巫蛊之祸，储位虚悬之际，欲谋立昌邑王刘髆为储，并未联络时任河南太守丞的黄霸，使得其后来未受到牵连。
金马门之变前，偶然得知消息的黄霸，通过因郑当时而结识的至交好友夏侯胜，及时向刘贺示警。
他虽然支持的是卫太子一脉，但心中还是有刘贺这个外甥的，只是因为身份特殊，他不便出面，只好求助好友夏侯胜。
而夏老也认为臣子废帝有违天道，故拼了老命拦下刘贺的帝轿，引经据典劝告，可惜未能引起刘贺的重视，却又不敢明着说明霍光欲废帝之谋划，怕拉来杀身之祸。
毕竟当时霍光权倾朝野，一言不慎，可引来族灭。
如今时局稳定，盛世开启，黄霸力劝刘贺，放弃夺回帝位的计划，以免生灵涂炭。
且黄氏即可续写谱籍，回归母家参加各种祭祀祖先之活动。死后如有意愿，也可回葬祖坟。
另外，宣帝拟迁霸补缺廷尉正。
刘贺闻之，除感叹沉醉道家修行的先王老爸在做人、拉拢人心方面，确实远远不如戾太子刘据一脉，连自已的亲老舅都被恩惠收买。
也再次深感后悔，要是当初充分重视夏侯胜和袁成焕的警示，莫错良机，即应当机立断，先下手为强，跟霍光老贼拼命，或许此时笑到最后的人应该就是我刘贺了。
刘贺深深吐出一口浊气，不免再次慨叹，人生浮梦乎，自已谋划一生，以为是掌握棋局的棋手，原来都在别人的算计之中，心中顿生退意。
王吉见到刘贺后，告之宣帝已诛灭霍光三族，也算为刘贺报仇雪恨，希望可以与贺达成交易。
刘贺交出京城及在昌邑等地的布置力量，放弃“争帝计划”。
汉宣帝封其为侯，保留王府所有财物，可全部搬迁至新的海昏侯国。
赐婚王吉的小女儿王玉儿为王后。
刘贺明白，汉宣帝此举意在将王氏家族与刘贺的命运捆绑，并用王玉儿监视他刘贺。
其实，经过这7年多的磨砺和夺回帝位行动包括刺杀霍光的失败，而宣帝当政，确实干得不错，诸多治国理念也甚为契合贺之心意与王道，有些甚至做得比刘贺想的更好更强，刘贺重夺帝位的心思也淡了很多。