王安石罢相以后， 宋神宗还把王安石定下的新法维持了将近十年。 公元1085年， 宋神宗病死， 年才十岁的太子赵煦（音ｘù）即位， 就是宋哲宗。 哲宗年幼， 由他祖母高太后临朝。 高太后是一向反对新法的。 她一临朝， 就把反对新法最激烈的司马光召到东京担任宰相。
司马光是当时最有名望的大臣， 陕州夏县（今山西夏县）人。 他的名声， 从他幼小的时候已经开始传开了。 他七岁那年， 就开始专心读书。 不论是大伏暑天， 或者数九寒冬， 他总捧着书不放， 有时候连吃饭喝水都忘了。 他不但读书用功， 而且很机灵。 有一次， 他跟小伙伴们在后院子里玩耍。 院子里有一口大水缸， 有个小孩爬到缸沿上， 一不小心， 掉到缸里。 缸大水深， 眼看那孩子快要没顶了。 别的孩子们一见出了事， 吓得一面哭喊， 一面往外跑， 找大人来救。 司马光不慌不忙， 顺手从地上拾起一块大石块， 使尽力气朝水缸砸去。 “砰”的一声， 水缸破了， 缸里的水流了出来， 被淹在水里的小孩也得救了。
这件偶然的事情， 使幼小的司马光出了名。 东京和洛阳有人把这件事画成图画， 广泛流传。
宋神宗在位的时候， 司马光担任翰林学士。 司马光和王安石本来是要好的朋友， 后来王安石主张改革， 司马光思想保守， 两个人就谈不到一块儿去了。
王安石做了宰相以后， 提出的一件件改革措施， 司马光没有一件不反对。 有一次， 司马光向宋神宗提出要求取消青苗法， 同时， 以老朋友的资格， 写了一封信， 责备王安石侵犯其他官员的职权， 惹是生非， 搜刮财富， 还拒不接受别人的意见。
王安石写了一封回信， 对司马光的四条责难针锋相对地作了反驳。 信里说： 我受皇上的命令， 改革法制， 怎能说我侵犯别人职权；为国家办事， 怎能说我惹是生非；为天下理财， 怎能说是搜刮财富；驳斥错误的言论， 怎能说拒绝意见。
司马光接到回信， 气得要命。 但是眼看王安石有皇帝撑腰， 也无可奈何。 最后， 他辞去朝廷职务， 离开京城， 到了洛阳， 表示不愿过问政事， 关起门来写书了。
原来， 司马光对历史很有研究， 他认为治理国家的人， 一定要通晓从古以来的历史， 从历史中吸取兴盛、 衰亡的经验教训。 他又觉得， 从上古到五代， 历史书实在太多， 做皇帝的人没有那么多时间看。 于是， 他很早就动手编写一本从战国到五代的史书。 宋英宗在位的时候， 他把一部分稿子献给朝廷。 宋英宗觉得这本书对巩固王朝统治有好处， 十分赞赏这项工作， 专门为他设立一个编写机构， 叫他继续编下去。
宋神宗即位以后， 司马光又把编好的一部分献给宋神宗。
宋神宗并不信司马光的政治主张， 但是对司马光编书却十分支持。 他把自己年轻时候收藏的二千四百卷书都送给司马光， 要他好好完成这部著作。 还亲自为这本书起了个书名， 叫《资治通鉴》（“资治”就是能帮助皇帝治理天下的意思）。
