刘贺荒淫昏乱，失去帝王的礼谊，破坏汉朝的制度，杨敞等人几次进言规谏，他都不改变过错，反而一天比一天厉害。朝臣们担心刘贺要危害国家，使天下不安，霍光同群臣一起谒见禀告上官太后，详细陈述昌邑王不能继承皇位的情况。
于是，皇太后乘车来到未央宫承明殿，诏令各个宫禁门卫不要放昌邑王的群臣进宫，昌邑王进宫朝见太后返回，准备坐辇车回到温室殿，宫中的黄门宦官各自手持门扇，等昌邑王进去后，就把宫门关上，昌邑王的群臣就进不来了。
昌邑王问道：“这是干什么？”大将军霍光跪下说：“皇太后有诏令，不让昌邑王的群臣进来。”昌邑王说：“慢点来，为什么要弄得这么吓人！”霍光派人将昌邑王的群臣全部驱逐出宫，集中在金马门外，车骑将军张安世率领羽林骑士拘捕捆绑了二百多人，都交给廷尉关在诏狱内，并命令原昭帝的侍中、中常侍看守昌邑王。
霍光告诫他们说：“你们要小心值班守卫，昌邑王如果突然死了或自杀，就会让我对不起天下人，背上杀害君王的罪名。”昌邑王这时还不知道自己要被罢黜，对身边的人说：“我原来的群臣随员有什么罪，而大将军全把他们关押起来了？”
不久，太后下诏召见昌邑王，昌邑王听到要召见自己，心中开始害怕起来说：“我犯了什么罪要召见我？”太后披着珍珠缀成的短袄，穿着盛装坐在布置有兵器的帷帐中，几百名宫廷卫士都拿着武器，期门武士持戟守卫台阶，他们都排列在殿下，群臣按顺序走进殿来，叫昌邑王伏在前面听诏令。霍光同各位大臣一起联名奏劾昌邑王，尚书令当庭宣读了弹劾奏章，细数刘贺即位以来种种不孝违法之行。
这章没有结束，请点击下一页继续阅读！
群臣认为高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今昌邑王继承孝昭皇帝之后，行为放纵不合法度。《诗》说：‘籍曰未知，亦既抱子。’五刑的条文规定，罪孽没有比不孝更大的。周襄王不能侍奉好母亲，《春秋》就说‘天王出居到郑国’，因为他不孝而被赶出京城，使他与天下人隔绝。宗庙比君王更重要，刘贺没有到高庙接受大命，就不可以继承上天的意旨而奉祀祖宗宗庙、统治天下万民，应当废黜。群臣请求有关官员御史大夫蔡谊、宗正刘德、太常苏昌和太祝准备一副太牢供品，将此事告祭于高庙。
皇太后下诏说：“准奏。”霍光就叫昌邑王起来跪拜接受诏令，昌邑王说道：“听说天子只要有争臣七人，即使无道也不会失去天下。”霍光说：“皇太后已下诏令废黜，哪里还是天子！”
于是，上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。昌邑王向西面拜道：“我愚昧不明事理，不堪担当汉朝的重任。”起身坐上皇帝侍从的车辆。大将军霍光把昌邑王送到昌邑邸后，霍光告罪道：“您的行为自绝于上天，臣下等怯懦无能，不能自杀来报答您的恩德。臣下宁可有负大王，不敢对不起国家。但愿大王能够自爱，臣下将再也不能见到您了。”霍光哭着离开了昌邑王。
群臣又上奏说：“古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌邑王刘贺迁到汉中房陵县。”太后诏令刘贺回到故国昌邑，并赐给他汤沐邑二千户，从前昌邑哀王刘髆的家财全给了刘贺，对昌邑哀王刘髆的四个女儿也各赐汤沐邑一千户，昌邑国被废除，降为山阳郡。昌邑国的群臣由于没有尽辅佐教导君臣之谊，使昌邑王误入歧途而获罪。霍光就将他们全部杀了，共有二百多人，当这些人被拉出去处死的时候，都在街道中哭泣呼喊道：“当断不断，反受其乱。”
刘贺被废后，大将军霍光尊立汉武帝曾孙刘询为皇帝，为汉宣帝。汉宣帝即位后，内心忌惮刘贺，派使者赐给山阳太守张敞玺书说：“诏令山阳太守：要谨慎防备盗贼，注意往来过客，不要泄露这条诏令！”
于是，张敞分条禀奏刘贺平日行为，说明他的废亡之状，说：“臣敞地节三年任职山阳，故昌邑王住在从前的宫中，在里面的奴婢一百八十三人，关闭大门，开小门，只有一个廉洁的差役领取钱物到街上采买，每天早上送一趟食物进去，此外不得出入。一名督盗另管巡查，注意往来行人。用故王府的钱雇人为兵，防备盗贼以保宫中安全，臣张敞屡次派官员前去察看。
臣张敞进去察看他的情况，故昌邑王二十六七岁，为人脸色很黑，小眼睛，鼻子尖而低，胡须很少，身材高大，患风湿病，行走不便。穿短衣大裤，戴着惠文冠，佩玉环，插笔在头，手持木简趋前谒见。
臣张敞与他坐在庭中谈话，看到他的妻子奴婢，我想用话触动他，观察他的心意，就用恶鸟试探他，说：‘昌邑有很多枭。’故昌邑王答道：‘是的，以前我西行到长安，根本没有猫头鹰。回来时，东行到济阳，就又听到猫头鹰的叫声。’我看到他的子女持辔，故昌邑王跪着说：‘持辔的母亲，是严长孙的女儿。’我才知执金吾严延年字长孙，女儿罗紨，以前是故昌邑王的妻子。观察故昌邑王的衣服、言语、举动，白痴呆傻。十六个妻子，二十二个儿女，其中十一个儿子，十一个女儿。我冒昧上报他们的名籍与奴婢、财物簿册。
臣张敞以前上书说：‘昌邑哀王的歌女、舞女张修等十一人，没有子女，又不是姬妾，只是良人，没有官名，昌邑哀王死后应当放她们回家。昌邑王的太傅豹等人擅自强留，认为是昌邑哀王园中人，我认为按法不当留，请求放她们回家。’故昌邑王听到后说：‘中人守陵园，病了的应当不治疗，互相杀伤的应当不处罚，本来就想让她们快点死，太守为什么却想放了她们呢？’可见他的天性就是喜好败乱伤亡，最终也看不到一点仁义。后来，丞相御史把我的上书奏上，奏折被批准，她们都被送回家。”
汉宣帝因此知道刘贺不值得忌惮，下诏说：“曾闻舜弟象有罪，舜为帝后封他于有鼻之国。骨肉之亲明而不绝，现封故昌邑王刘贺为海昏侯，食邑四千户。”
侍中、卫尉金安上上书说：“刘贺是上天抛弃的人，陛下至仁，又封他为列侯。刘贺是个愚顽废弃之人，不应该奉行祭祀宗庙及入朝朝见天子之礼。”奏折得到汉宣帝批准，刘贺前往其封地海昏就国。
几年之后，扬州刺史柯奏报刘贺与故太守卒史孙万世来往，孙万世问刘贺：“从前被废时，为什么不坚守着不出宫并斩杀大将军，却听凭别人夺去天子玺印与绶带呢？”刘贺说：“是的，错过了机会。”孙万世认为刘贺将在豫章就国，不会久为列侯，刘贺说：“将会这样，但不是应该谈论的。”有关部门审讯核实，请求逮捕，汉宣帝诏令削去刘贺三千户食邑。
刘贺死后，豫章太守廖奏道：“舜封象在有鼻，象死不为他设立后继者，认为暴乱之人不应该当一国的始祖。海昏侯刘贺去世，上报有关部门，应当作为他的后继者的是他的儿子刘充国；刘充国去世，又上报他的弟弟刘奉亲；刘奉亲又去世，这是上天要断绝他的祭祀。陛下聪明仁爱，对于刘贺很厚重，即使是舜对象也没法超过。应该按礼制断绝刘贺的后继，奉行天意，希望交给有司商议。”讨论的结果，都认为不应该为他立嗣，海昏侯国因此被除。
汉元帝刘奭，封刘贺的另一个儿子刘代宗，为海昏侯，刘代宗传位给儿子海昏原侯刘保世，刘保世传位给儿子刘会邑。
王莽代汉建立新朝时，海昏侯国被废除，刘保世被削藩贬为庶民。
后来，刘秀建立东汉王朝，恢复刘氏天下，刘会邑又被恢复为海昏侯。后来，海昏被分拆成建昌、海昏两个县。