十五年六月，玄宗苍黄幸蜀，大臣陈希烈、张倚等衔于失恩，不时赴难。琯结张均、张垍兄弟与韦述等行至城南十数里山寺，均、垍同行，皆以家在城中，逗留不进，琯独驰蜀路。七月，至普安郡谒见，玄宗大悦，即日拜文部尚书、同中书门下平章事，赐紫金鱼袋。从幸成都，加银青光禄大夫，仍与一子官。其年八月，与左相韦见素、门下侍郎崔涣等奉使灵武，册立肃宗。至顺化郡谒见，陈上皇传付之旨，因言时事，词情慷慨，肃宗为之改容。时潼关败将王思礼、吕崇贲、李承光等引于纛下，将斩之，琯从容救谏，独斩承光而已。肃宗以琯素有重名，倾意待之，琯亦自负其才，以天下为己任。时行在机务，多决之于琯，凡有大事，诸将无敢预言。寻抗疏自请将兵以诛寇孽，收复京都，肃宗望其成功，许之。诏加持节、招讨西京兼防御蒲潼两关兵马节度等使，乃与子仪、光弼等计会进兵。琯请自选参佐，乃以御中史中丞邓景山为副，户部侍郎李揖为行军司马，中丞宋若思、起居郎知制诰贾至、右司郎中魏少游为判官，给事中刘秩为参谋。既行，又令兵部尚书王思礼副之。琯分为三军：遣杨希文将南军，自宜寿入；刘悊将中军，自武功入；李光进将北军，自奉天入。琯自将中军，为前锋。十月庚子，师次便桥。辛丑，二军先遇贼于咸阳县之陈涛斜，接战，官军败绩。时琯用春秋车战之法，以车二千乘，马步夹之。既战，贼顺风扬尘鼓噪，牛皆震骇，因缚刍纵火焚之，人畜挠败，为所伤杀者四万余人，存者数千而已。癸卯，琯又率南军即战，复败，希文、刘悊并降于贼。琯等奔赴行在，肉袒请罪，上并宥之。
琯好宾客，喜谈论，用兵素非所长，而天子采其虚声，冀成实效。琯既自无庙胜，又以虚名择将吏，以至于败。琯之出师，戎务一委于李揖、刘秩，秩等亦儒家子，未尝习军旅之事。琯临戎谓人曰："逆党曳落河虽多，岂能当我刘秩等？"及与贼对垒，琯欲持重以伺之，为中使邢延恩等督战，苍黄失据，遂及于败。上犹待之如初，仍令收合散卒，更图进取。
会北海太守贺兰进明自河南至，诏授南海太守，摄御史大夫，充岭南节度使。中谢，肃宗谓之曰："朕处分房琯与卿正大夫，何为摄也？"进明对曰："琯与臣有隙。"上以为然。进明因奏曰："陛下知晋朝何以至乱？"上曰："卿有说乎？"进明曰："晋朝以好尚虚名，任王夷甫为宰相，祖习浮华，故至于败。今陛下方兴复社稷，当委用实才，而琯性疏阔，徒大言耳，非宰相器也。陛下待琯至厚，以臣观之，琯终不为陛下用。"上问其故，进明曰："琯昨于南朝为圣皇制置天下，乃以永王为江南节度，颍王为剑南节度，盛王为淮南节度，制云'命元子北略朔方，命诸王分守重镇'。且太子出为抚军，入曰监国，琯乃以枝庶悉领大藩，皇储反居边鄙，此虽于圣皇似忠，于陛下非忠也。琯立此意，以为圣皇诸子，但一人得天下，即不失恩宠。又各树其私党刘秩、李揖、刘汇、邓景山、窦绍之徒，以副戎权。推此而言，琯岂肯尽诚于陛下乎？臣欲正衙弹劾，不敢不先闻奏。"上由是恶琯，诏以进明为河南节度、兼御史大夫。
崔圆本蜀中拜相，肃宗幸扶风，始来朝谒。琯意以为圆才到，当即免相，故待圆礼薄。圆厚结李辅国，到后数日，颇承恩渥，亦憾于琯。琯又多称病，不时朝谒，于政事简惰。时议以两京陷贼，车驾出次外郊，天下人心惴恐。当主忧臣辱之际，此时琯为宰相，略无匪懈之意，但与庶子刘秩、谏议李揖、何忌等高谈虚论，说释氏因果、老子虚无而已。此外，则听董庭兰弹琴，大招集琴客筵宴。朝官往往因庭兰以见琯，自是亦大招纳货贿，奸赃颇甚。颜真卿时为大夫，弹何忌不孝，琯既党何忌，遽托以酒醉入朝，贬为西平郡司马。宪司又奏弹董庭兰招纳货贿，琯入朝自诉，上叱出之，因归私第，不敢预人事。谏议大夫张镐上疏，言琯大臣，门客受赃，不宜见累。二年五月，贬为太子少师，仍以镐代琯为宰相。其年十一月，从肃宗还京师。十二月，大赦，策勋行赏，加琯金紫光禄大夫，进封清河郡公。琯既在散位，朝臣多以为言，琯亦常自言有文武之用，合当国家驱策，冀蒙任遇。又招纳宾客，朝夕盈门，游其门者，又将琯言议暴扬于朝。琯又多称疾，上颇不悦。乾元元年六月，诏曰：
崇党近名，实为害政之本；黜华去薄，方启至公之路。房琯素表文学，夙推名器，由是累阶清贵，致位台衡。而率情自任，怙气恃权。虚浮简傲者进为同人，温让谨令者捐于异路。所以辅佐之际，谋猷匪弘。顷者时属艰难，擢居将相，朕永怀反席，冀有成功。而丧我师徒，既亏制胜之任；升其亲友，悉彰浮诞之迹。曾未逾时，遽从败绩。自合首明军令，以谢师旅，犹尚矜其万死，擢以三孤。