天授二年九月丁酉，转地官侍郎、判尚书、同凤阁鸾台平章事。则天谓曰："卿在汝南时，甚有善政，欲知谮卿者乎？"仁杰谢曰："陛下以臣为过，臣当改之；陛下明臣无过，臣之幸也。臣不知谮者，并为善友，臣请不知。"则天深加叹异。
未几，为来俊臣诬构下狱。时一问即承者例得减死，来俊臣逼协仁杰，令一问承反。仁杰叹曰："大周革命，万物唯新，唐朝旧臣，甘从诛戮。反是实！"俊臣乃少宽之。判官王德寿谓仁杰曰："尚书必得减死。德寿意欲求少阶级，凭尚书牵杨执柔，可乎？"仁杰曰："若何牵之？"德寿曰："尚书为春官时，执柔任其司员外，引之可也。"仁杰曰："皇天后土，遣仁杰行此事！"以头触柱，流血被面，德寿惧而谢焉。既承反，所司但待日行刑，不复严备。仁杰求守者得笔砚，拆被头帛书冤，置绵衣中，谓德寿曰："时方热，请付家人去其绵。"德寿不之察。仁杰子光远得书，持以告变。则天召见，览之而问俊臣。俊臣曰："仁档不免冠带，寝处甚安，何由伏罪？"则天使人视之，俊臣遽命仁杰巾带而见使者。乃令德寿代仁杰作谢死表，附使者进之。则天召仁杰，谓曰："承反何也？"对曰："向若不承反，已死于鞭笞矣。""何为作谢死表？"曰"臣无此表。"示之，乃知代署也。故得免死。贬彭泽令。武承嗣屡奏请诛之，则天曰："朕好生恶杀，志在恤刑。涣汗已行，不可更返。"
万岁通天年，契丹寇陷冀州，河北震动，征仁杰为魏州刺史。前刺史独孤思庄惧贼至，尽驱百姓入城，缮修守具。仁杰既至，悉放归农亩，谓曰："贼犹在远，何必如是。万一贼来，吾自当之，必不关百姓也。"贼闻之自退，百姓咸歌诵之，相与立碑以纪恩惠。俄转幽州都督。
神功元年，入为鸾台侍郎、同凤阁鸾台平章事，加银青光禄大夫，兼纳言。仁杰以百姓西戍疏勒等四镇，极为凋弊，乃上疏曰：
臣闻天生四夷，皆在先王封疆之外。故东拒沧海，西隔流沙，北横大漠，南阻五岭，此天所以限夷狄而隔中外也。自典籍所纪，声教所及，三代不能至者，国家尽兼之矣。此则今日之四境，已逾于夏、殷者也。诗人矜薄伐于太原，美化行于江、汉，则是前代之远裔，而国家之域中。至前汉时，匈奴无岁不陷边，杀掠吏人。后汉则西羌侵轶汉中，东寇三辅，入河东上党，几至洛阳。由此言之，则陛下今日之士宇，过于汉朝远矣。若其用武荒外，邀功绝域，竭府库之实，以争硗确不毛之地，得其人不足以增赋，获其土不可以耕织。苟求冠带远夷之称，不务固本安人之术，此秦皇、汉武之所行，非五帝、三皇之事业也。若使越荒外以为限，竭资财以骋欲，非但不爱人力，亦所以失天心也。昔始皇穷兵极武，以求广地，男子不得耕于野，女子不得蚕于室，长城之下，死者如乱麻，于是天下溃叛。汉武追高、文之宿愤，藉四帝之储实，于是定朝鲜，讨西域，平南越，击匈奴，府库空虚，盗贼蜂起，百姓嫁妻卖子，流离于道路者万计。末年觉悟，息兵罢役，封丞相为富民侯，故能为天所祐也。昔人有言："与覆车同轨者未尝安。"此言虽小，可以喻大。
近者国家频岁出师，所费滋广，西戍四镇，东戍安东，调发日加，百姓虚弊。开守西域，事等石田，费用不支，有损无益，转输靡绝，杼轴殆空。越碛逾海，分兵防守，行役既久，怨旷亦多。昔诗人云："王事靡盬，不能艺稷黍。""岂不怀归，畏此罪罟。念彼蒸人，涕零如雨。"此则前代怨思之辞也。上不是恤，则政不行而邪气作；邪气作，则虫螟生而水旱起。若此，虽祷祀百神，不能调阴阳矣。方今关东饥馑，蜀、汉逃亡，江、淮以南，徵求不息。人不复业，则相率为盗，本根一摇，忧患不浅。其所以然者，皆为远戍方外，以竭中国，争蛮貊不毛之地，乖子养苍生之道也。
昔汉元纳贾捐之之谋而罢珠崖郡，宣帝用魏相之策而弃车师之田，岂不欲慕尚虚名，盖惮劳人力也。近贞观年中，克平九姓，册李思摩为可汗，使统诸部者，盖以夷狄叛则伐之，降则抚之，得推亡固存之义，无远戍劳人之役。此则近日之令典，经边之故事。窍见阿史那斛瑟罗，阴山贵种，代雄沙漠，若委之四镇，使统诸蕃，封为可汗，遣御寇患，则国家有继绝之美，荒外无转输之役。如臣所见，请捐四镇以肥中国，罢安东以实辽西，省军费于远方，并甲兵于塞上，则恒、代之镇重，而边州之备实矣。况绥抚夷狄，盖防其越逸，无侵侮之患则可矣。何必穷其窟穴，与蝼蚁计校长短哉！