房琯罢为散官这时，北海太守贺兰进明从河南赴行在，被任命为南海太守，代理御史大夫
贺兰进明入宫谢恩，唐肃宗问道：“朕让房琯授你为正职大夫，怎么成了代理呢？”贺兰进明道：“房琯与臣有矛盾
”唐肃宗这才明白
贺兰进明趁机进言道：“西晋任用王衍为宰相，崇尚浮华，以致中原沦丧
陛下中兴社稷，应任用贤才
房琯生性虚浮，好说大话，不是宰相之才
而且房琯在成都辅佐太上皇时，让诸王掌兵权，居重藩，却把陛下安置在边鄙之地，这是对陛下的不忠
他还安排自己的党羽，掌握军队，这哪里是肯为陛下尽忠呢？”唐肃宗从此开始疏远房琯
757年（至德二载），宰相崔圆到扶风拜见唐肃宗
房琯认为崔圆此时才来朝见，一定会被罢相，于是对他非常不礼貌
不料，崔圆通过贿赂权宦李辅国，颇受唐肃宗器重，并因此与房琯结怨
而房琯又经常称病，不肯上朝，与刘秩、李揖、何忌等人谈论佛道虚无之事，受到舆论的非议
房琯还常听门客董庭兰弹琴，董庭兰也借此而弄权谋利
后来，法司弹劾董庭兰，房琯入朝自诉，被唐肃宗斥退
五月，唐肃宗任命谏议大夫张镐为宰相，将房琯贬为太子少师，担任散官
以上内容由大学时代综合整理自互联网，实际情况请以官方资料为准。
