鸿嘉三年（前18），成帝在阳阿公主府中见到了体轻如燕、倾国倾城的赵飞燕，很快就被她所吸引，并将她带回宫中。在这个舞女面前，班婕妤的所有才情变得不堪一击，她从前在成帝那里所得到的宠爱，在赵飞燕进宫后，就画上了休止符。能歌善舞的赵飞燕在夺取成帝的宠爱后，又将其同样具有国色天姿的妹妹赵合德引进宫中，两姊妹轮流侍寝，连夕承欢。在汉成帝眼中，其他后宫粉黛全无颜色，即便是他往日最心爱的班婕妤，也被抛到九霄云外。从此，成帝的后宫便成了赵家姐妹的天下。
冰雪聪明的班婕妤知道，只要赵氏姐妹在，她就永无出头之日，所以她自请去长信宫侍奉太后，悄然隐退在淡柳丽花之中。
按理说，在颇重礼教的封建社会中，谁都会为拥有像班婕妤这样品貌兼具的女子而感到万分庆幸，那么，成帝为什么反其道而行，逐渐冷落她呢？
先看一看当时的政治形势，汉成帝登基后，虽然名为一国之君，但实际掌权的却是皇太后王政君和她背后强大的王氏大家族，汉成帝只能算是一个傀儡。没有实权的成帝自然万分苦闷，可他却无法改变这一局面，因此只能把全部精力放在女人身上，以期望能在声色犬马中释放自己的郁闷。
