汤思退大怒，诬称其“大言误国，以邀美名”，又假意请召他回朝，其实有排挤之意。

    虞允文交还印绶，乞请致仕，但仍坚持认为不能放弃四州。

    虞允文的为官之路十分坎坷。

    隆兴二年，金国又挑起战事，汤思退获罪贬谪，赵追悔不听虞允文的进言。

    适逢被召回的名臣陈俊卿也举荐虞允文才堪大用，赵遂于同年十一月召其入朝，重新重用。

    乾道元年三月，虞允文被正授为参知政事，仍同知枢密院事。

    同年秋，金国所派的使臣完颜仲“偃蹇不敬”，虞允文请求将其斩首，朝议意见不一，此事遂被搁置。

    适逢宰相钱端礼收受官员李宏的玉带，此事被发现后，牵连虞允文，使其遭到御史章服的弹劾，于是在同年八月罢相。

    乾道三年二月，虞允文再次入朝，授知枢密院事兼参知政事。

    五月，吴去世，四川制置使汪应辰暂掌宣抚使司事务。

    但赵担心汪应辰“不习军事”，于六月特命虞允文出任资政殿大学士、四川宣抚使，旋即诏命他仍兼知枢密院事。

    颁诏前，赵特地告诫虞允文：“凡事不应效仿张浚的迂阔，军前之事，你一一亲临。”

    可以得见，当时的赵也发现了张浚的不妥之处。

    而虞允文也并没有辜负赵的期待，在军中进行了一系列的改革。

    在抵达四川一个月后，虞允文被召回临安，不到数月，又回到四川。

    虞允文返回四川后，奉行孝宗劝诫的九事，以整饬军政为急务，奏请核查各部军卒，根据战斗力分为三级，最上级作战，中、下二级负责运输辎重，最后的老弱者被裁汰。

    据此，共裁汰了上万冗兵，节省缗钱四百万。

    而被裁者如在从前有功劳，就加授闲散官职。

    命利州路帅臣晁公武重新核实兴、洋二地的义军，共检得二万三千九百余人。

    又得到陕西弓箭手的训练要略，参考绍兴年间的规制，整理为兵书，赐给各文武官吏。

    将马政交付官员张松打理，奏请依据旧制分设川、秦二处茶马司。

    虞允文的这些举措，使得蜀地军政一新。

    而虞允文也是一个为百姓考虑的好官。

    当初，虞允文在枢密院时，从金降宋的将领萧遮巴提议料理军卒，虞允文曾奏请三衙对被清裁的士卒加以安抚、收编。

    到此时，金、洋、兴元三地有两万归正人，拦路诉说被拘囚的苦楚，虞允文为他们分配官田，使其恢复生产。

    此外，他还打算联系金将姜挺、白沂，按照朝廷的诏令招募巩州人王嗣祖，企图联合西北各族一同进攻金国，派蕃僧六彪与王嗣祖一同前往商议，但最后未有成果。

    当时，邛、蜀等十四州发生饥荒，共有“荒政凡六十五事”，剑州将节余的钱帛五万捐献灾区，但虞允文没有接受。

    而虞允文的才能还不止如此。

    虞允文在相位时，大力提拔贤良之士，如洪适、汪应辰、杨万里、胡铨、周必大、王十朋、赵汝愚、晁公武、李焘等人。

    虞允文对有才能的人十分看重。

    他平时但凡见闻某人可取言行，便将其记下。最后将人才分为三等，辑成《翘材馆录》一书，以收用贤才。

    赵忧心南宋“兵冗财匮”的现象，虞允文于是与陈俊卿商议裁汰三衙中的杂役以及虚占军籍的冗员，并使三军将士没有怨言。

    乾道六年五月，陈俊卿奏请挽留因直言被外放的右正言龚茂良，触怒赵，以至于陈俊卿辞免相位。

    待命两日，朝廷都不予批复。

    虞允文觐见赵，详细论述君臣礼遇之道，甚至叠拜在孝宗榻前，最终使陈俊卿被优待，出判福州府。

    在军事上，虞允文也十分敏锐。

    赵派祈请国信使范成大向金国索求北宋诸帝陵寝之地，并请更定受书之仪。

    金国恼怒南宋方面不在国书中提及受书之仪，予以拒绝，而谍报又传称金国“欲以三十万骑奉迁陵寝来归”，宋廷内外大震，荆襄将帅纷纷奏请增兵戍守。

    但是虞允文认为：“金国正戒于完颜亮之败，绝不敢轻举妄动，不过是虚张声势罢了。”奏请停办此事。

    朝臣议论纷纷，虞允文不为所动，最终金国方面也并未出兵。

    乾道九年，虞允文抵达成都就任。

    当时四川宋军每月领米一石五斗，不能养家，虞允文得讯后，捐出宣司钱三十万换米，按照士卒家中人口增给米数。

    除此之外，他还订立户马七条，搜括民马，“奏选良家子”，以备将来的战争使用。

    赵曾对虞允文有共同洗雪“丙午之耻”、北伐中原的期许。

    但虞允文镇蜀一年，并没有进兵的计划，孝宗下密诏催促，他却称军需尚未完备