1251年7月1日，忽必烈长兄蒙哥登基成为大蒙古国皇帝即蒙古帝国大汗，是为元宪宗，因为忽必烈在蒙哥的同母弟中“最长且贤”，蒙哥即位后不久即任命忽必烈负责总领漠南汉地事务。忽必烈在这段时间内任用了大批汉族幕僚和儒士，如刘秉忠、许衡、姚枢、郝经、张文谦、窦默、赵璧等等，并提出了“行汉法”的主张。儒士元好问和张德辉还请求忽必烈接受“儒教大宗师”的称号，忽必烈悦而受之。忽必烈尊崇儒学，“圣度优宏，开白炳R，好儒术，喜衣冠，崇礼让。”
1252年，宋军攻打河南边地。忽必烈请准蒙哥在河南设经略司，任命蒙哥、史天泽、杨惟中、赵璧为经略使。6月，忽必烈前往草原觐见蒙哥，奉命率军征云南。
1253年，蒙哥分赏诸王，忽必烈得到京兆封地。忽必烈建立京兆宣抚司。忽必烈率领大军在六盘山度夏。秋天，大军经过临洮进入藏族地区，到达忒刺（今四川松潘）地方。8月，忽必烈率军从陕西出发，进攻位于今云南等地的大理国;1254年1月2日，忽必烈攻克大理城，国王段兴智投降，忽必烈灭大理国。云南地区并入大蒙古国版图。
1256年，忽必烈又增受怀孟州封地。1256年夏天，以南宋扣押蒙古使者为理由，蒙哥正式宣布了攻击南宋的意向。忽必烈势力的发展，引起蒙哥的疑忌。
1257年，蒙哥命阿蓝答儿等在关中设钩考局，查核京兆、河南财赋。阿蓝答儿等从河南经略司、京兆宣抚司的官员中，罗织一百余条罪状，旨在除灭忽必烈所信用的官员，削弱他的势力。十二月，又亲自去朝见蒙哥。蒙哥见忽必烈来朝，相对泣下，要他不必再作表白。
1258年农历七月，蒙哥率大军攻入四川北部，一路所向披靡，攻克四川北部大部分地区，1259年初，在合州城下攻势受阻。
1258年11月29日，根据蒙哥的旨意，忽必烈在开平东北行祭旗礼，正式出兵启行南下攻宋，于次年8月2日，忽必烈率军抵达河南汝南，继续向南宋进发，并派命杨惟中、郝经宣抚江淮。1259年9月3日，忽必烈统领中路军渡过淮河，攻入南宋境内，随后一路向南，在湖北开辟新的战场，进攻长江中游的鄂州。
