乾道三年(1167),召为知枢密院事兼参知政事。四川名将吴璘死,虞允文接替他出任四川宣抚使兼知枢密院事,积极整顿正规军和民兵,减缩军费开支。五年拜右仆射同中书门下平章事兼枢密使。八年秋,再度赴四川综理军政事务,后病死。在淳熙四年(1177年),宋孝宗诏赠虞允文太傅,谥忠肃。
而宋孝宗在虞允文死去后便失去了收复中原的斗心,从此不再打算收复中原。但虞允文的报国事迹仍广为人传颂,名留青史。毛泽东亦曾在《续通鉴纪事本末》批道“伟哉虞公,千古一人”,虞公即虞允文。虞允文曾为唐书及五代史加注,并著有诗文十卷,经筵春秋讲义三卷、奏议二十二卷、内外志十五卷,传颂于世。