刘祜的阎皇后多年不育，由于此前刘祜已立宫人李氏所生之子刘保为太子。李氏在此以前已被阎皇后鸩杀。阎皇后怕太子即位以后会追究杀母之仇，处心积虑地要将刘保除去。王圣与女儿王永因与太子刘保的乳母王男、厨监邴吉发生争吵而将其置于死地，刘保思念王男，多次叹息。
而阎皇后又与中常侍樊丰串通一气，向刘祜进谗言，说刘保行为过恶，不宜处太子之位。刘祜宠爱阎皇后，于是有了废立之心。而王圣因害死了刘保的乳母王男，担心日后被刘保报复，于是也帮着阎皇后构陷太子刘保。太子的废立要经大臣们讨论，大将军耿宝秉承阎皇后意旨，力主废黜刘保。太常桓焉、廷尉张皓则反驳说：“人生年未满十五，过恶尚未及身，望陛下为太子选德行高操的师傅，辅导以礼义，自然行为有方。”
只是刘祜并不觉悟，于延光三年(公元124年) 废黜了太子刘保，改封为济阴王。这时期官僚集团与宦官的矛盾日益尖锐，以杨震为代表的朝臣多次上疏要求刘祜约束和惩戒飞扬跋扈的宦官，但刘祜总是置之不理。而被揭发的宦官们则乘机诬告，最终杨震被迫自杀。
南游驾崩
延光四年（公元125年），刘祜携同阎皇后和贵戚南下游玩，三月庚申，行抵宛城，忽然得病，身体时冷时热，病势沉重，只好下令回京。三月时到达叶县（今河南省叶县南），这时已呈弥留状态。他想嘱咐后事，已经说不出话来，只能睁眼盯视着皇后，慢慢死于车中，终年三十二岁。皇后不敢对外宣布安帝驾崩的消息，所在上食、问起居与往常一样。
庚午日回到宫中。辛未晚上才发丧。当年葬于恭陵，庙号恭宗，谥号孝安皇帝。初平元年（公元190年）有司奏请刘祜无功德，不宜称宗，请撤除尊号。汉献帝诏令说：“可以”。[
为政举措
政治上
选拔人才永宁元年（公元121年）夏四月，刘祜令百官推举有道之士。延光元年（公元122年）八月己亥，刘祜诏三公、中二千石的高等官员，推举刺史、二千石、令、长、相，从事一年以上至十岁，清白爱利、能赖身率下、防奸理烦、有益于人的人，无拘官簿。刺史举所部，郡国太守、相举墨绶，隐亲悉心，勿取浮华。