公元757年，崔圓本來在蜀中玄宗處拜相，肅宗到了扶風後，崔圓趕來拜見，房琯以為崔圓此時才來朝見，一定會罷相，所以對待崔圓有些冷淡，崔圓重賄結納李輔國，到後數日，居然頗受肅宗器重，崔圓從此與房綰結怨，房琯又經常稱病，不太上朝，處理政事簡單懶惰，當時的輿論非議房綰：認為長安、洛陽陷於叛軍之手，肅宗車駕在外，在天下人心不安恐懼、主憂臣辱的時候，房琯作為宰相，一點都沒有不能懈怠之意，反而與庶子劉秩、諫議李揖、何忌等高談虛論，說些佛道因果、老子虛無之事。
此外，房綰喜歡聽董庭蘭彈琴，朝官往往需要通過董庭蘭才能見到房綰，董庭蘭藉此弄權謀利，贓物頗多，顏真卿當時為御史大夫，彈劾何忌不孝，房琯將何忌視為黨羽，馬上營救、以何忌酒醉入朝為託詞，將其輕輕貶為西平郡司馬，御史又彈劾房綰門客董庭蘭受賄索賄，房琯入朝為其申辯，肅宗不留情面，將其斥退，房綰回家之後，再也不敢干預人事任命和安排，諫議大夫張鎬上疏，說房琯大臣，不能因為門客受贓而受牽累，是年五月，貶房綰為太子少師，任散官，以張鎬代房琯為宰相。
杜甫時為左拾遺，上疏為房綰辯解，語氣狂妄，肅宗怒，詔三司推問杜甫，張鎬上奏說如果治罪杜甫，恐怕斷絕言路，遂不問杜甫，仍舊擔任左拾遺。十一月，隨肅宗一起京師，十二月，加房琯金紫光祿大夫，進封清河郡公。房琯在散官位上，常常自己說自己有文武之才，理應重用，房綰因為心裡不痛快，常常稱病不上朝，但又在府第招納賓客，每日裡賓客盈門，到他家做客的朝臣又將其言論在朝中宣揚、擴散，肅宗對其之行為非常不滿，公元758年六月，肅宗忍無可忍，歷數房綰罪責，將其貶為邠州刺史，杜甫亦受牽連，貶為華州司功參軍。
當時邠州駐有軍隊，常常以武將兼領刺史，法紀廢弛，州縣官舍先被軍隊占據，官吏又侵奪民房，百姓苦之，房琯到任後，頒布法令，讓官吏、百姓遵守，又整理修葺官舍，讓地方官吏恢復辦公，由此政績卓越，次年六月，肅宗下詔褒獎，征拜為太子賓客，公元760年，改任禮部尚書，不久出任晉州刺史，八月，改漢州刺史，房琯的長子房乘，自小就雙目失明，房琯到漢州後，重金賄賂、結納漢州司馬李銳，乘機將李之外甥女盧氏嫁給自己的盲兒房乘，當時的輿論都鄙薄、不齒於這種行為，763年四月，房綰被拜特進（散官）、刑部尚書，赴京途中突發疾病，是年八月四日，卒於四川閬州寺廟，時年六十六，贈太尉。
如您喜歡，請點關注，看下一篇