他居住在洛阳的十五年，天下人将他当作真正的宰相，村夫野老都称他为司马相公，妇人孺子都知道他是司马君实。
皇帝去逝后，司马光赶到宫殿，守卫的士兵望见他，都以手加额说：“这是司马相公呀！”他所到之处，老百姓都拦在路上，聚集在一起围观，以至于马都不能通过，大家要求说：“你不要回洛阳了，就留下来作宰相，快救活百姓。”继位的哲宗年幼，太皇太后临朝听政，派遣使者问司马光当前首要的任务，司马光说：“广开言路。”于是下诏在朝堂公开张帖文书、告示。朝廷针对大臣有意见的，定下了六条，说：“暗中有所怀疑的人；挑拨与自己无关的事的人；或者煽动动摇重要事情；或者迎合王安石的法令；对上想侥幸希望晋升；对下想迷惑流俗。像这些人，坚决惩罚不赦。”然后把它交给司马光，司马光看后说：“这不是请求进谏，而是在拒谏。作臣子的只有不说话，一说话就归入到六条里了。”于是朝廷详细讨论其中的情况，将诏书修改后颁布施行。在当时，上书言事的人数以千计。
朝廷准备起用司马光作陈州知州，但过阙的时候，又将他留下任为门下侍郎。苏轼从登州被召回朝廷，司马光所过的路上，人们聚集在一起大声呼喊说：“感谢司马相公，你不要去朝廷了，好好保重身体，来救活我们吧。”当时天下的老百姓，对新政都拭目以待，可是议论的人还有人说：“先皇刚去世，现在的皇帝三年不能改变父亲的制度。”只是粗略地举出一些细小事情，稍微搪塞人们的耳目。司马光说：“先帝的法规，好的部分即使百代也不应该改变，像王安石、吕惠卿所创制的法规，已成为天下的祸害，更改它们就像救民于水火一样。何况太皇太后是因母亲改变儿子，不是儿子改变父亲。”众议决定了，于是罢去保甲团教，不再设立保马法，废除市易法，将所储存的物资全部卖掉，不收利息，免除老百姓所欠的钱；有关京东铁钱及茶盐的管理办法，也都恢复原来的样子。有人对司马光说：“熙宁、咸丰时期的旧臣，大多是奸佞小人，他日有人拿父子情义离间皇上，那么大祸就会发生了。”司马光神色严厉地说：“上天如果要降福宗庙，必定不会有这类事。”于是天下的人都放心了，说：“这是先帝的本意。”
元祐元年，司马光又患病，皇帝下诏让他朝会后再去拜见，不要激动。当时青苗法、免役法、将官法还存在，而对待西方少数民族的意见也没有统一。司马光叹息说：“这四种祸患没有消除，我死也不能瞑目呀！”他写信给吕公着说：“我把身体交给了医生，把家事交给了儿子，但国家大事没有可寄托的人，现在把它交给您吧。”于是他评论免役法的五点害处，请求朝廷下令罢黜此法。建议各位将领下属的兵士都要隶属州县，军政事务应当委托郡守、县令一同决定。废除提举常平司，将其事务转交给转运使、提点刑狱。他还认为，关于边疆问题，以和少数民族讲和为好。认为监司现在多为新近选拔的少年，大都刻薄急躁，应当命令亲近的臣子从郡守中选拔举荐，而要在通判中选拔转运判官。又建议国家设立十科荐士法。皇上都听从了他的意见。
又拜授尚书左仆射兼门下侍郎，免除上朝朝拜，准许他坐肩舆，三天到一次朝廷。司马光不敢接受，他说：“不见君主，不能够处理事务。”于是皇上下诏让司马光的儿子司马康搀扶着司马光入朝和皇帝商议事情，并且对他说：“你可以不下拜。”在司马光的再三反对之下，朝廷终于罢去了青苗钱，恢复了常平仓的粜籴法。太皇太后都虚心地听从他的意见。辽国和西夏的使者来了，一定询问司马光的起居和身体状况。
而且他们的君主命令他们的边境官吏说：“中国任用司马光为宰相了，不要轻率生事，发生边境纠纷。”这时，朝廷对司马光言听计从，司马光也想要以身报国，于是他亲自过问所有事务，不分昼夜地工作。宾客们见他身体羸弱，就用诸葛亮吃得少而事情多的例子，劝他引以为戒。
司马光说：“死和生，是命中注定的事，别去管它。”于是他工作更加努力。病危将死之时，他已不再有知觉，然而他对别人仍然恳切教导，好像是在梦中说话，但所说的还都是朝廷、国家的大事。
这年九月，司马光去逝，终年六十八岁。太皇太后听到司马光去逝的消息，非常悲痛，和皇帝立即去吊丧，以至明堂建成的大礼也没有去参加祝贺。赠封司马光为太师、温国公，赠给死者的衣服是一品官的礼服，赠送的银绢多达七千。并下令让户部侍郎赵瞻、内侍省押班冯宗道监护丧事，归葬到陕州。谥号文正，赐碑《忠清粹德》。京城的人们罢市前往凭吊，有的人甚至卖掉衣物去参加祭奠，街巷中的哭泣声超过了车水马龙的声音。等到安葬的时候，哭的人非常真诚，仿佛是在哭自己的亲人。岭南封州的父老们，也都纷纷祭奠司马光，京城及全国各地都画他的像来祭祀他，吃饭前一定要先祭祀他。