裴行俭，绛州闻喜人。曾祖伯凤，周骠骑大将军、汾州刺史、琅邪郡公。祖定高，冯翊郡守，袭封琅邪公。父仁基，隋左光禄大夫，陷于王世充，后谋归国，事泄遇害；武德中，赠原州都督，谥曰忠。行俭幼以门荫补弘文生。贞观中，举明经，拜左屯卫仓曹参军。时苏定方为大将军，甚奇之，尽以用兵奇术授行俭。显庆二年，六迁长安令。时高宗将废皇后王氏而立武昭仪，行俭以为国家忧患必从此始，与太尉长孙无忌、尚书左仆射褚遂良私议其事，大理袁公瑜于昭仪母荣国夫人谮之，由是左授西州都督府长史。麟德二年，累拜安西大都护，西域诸国多慕义归降，征拜司文少卿。总章中，迁司列少常伯。咸亨初，官名复旧，改为吏部侍郎，与李敬玄为贰，同时典选十余年，甚有能名，时人称为裴、李。行俭始设长名姓历榜，引铨注等法，又定州县升降、官资高下，以为故事。上元二年，加银青光禄大夫。高宗以行俭工于草书。尝以绢素百卷，令行俭草书《文选》一部，帝览之称善，赐帛五百段。行俭尝谓人曰："褚遂良非精笔佳墨，未尝辄书，不择笔墨而妍捷者，唯余及虞世南耳。"三年，吐蕃背叛，诏行俭为洮州道左二军总管。寻又为泰州镇抚右军总管，并受元帅周王节度。仪凤二年，十姓可汗阿史那匐延都支及李遮匐扇动蕃落，侵逼安西，连和吐蕃，议者欲发兵讨之。行俭建议曰："吐蕃叛涣，干戈未息，敬玄、审礼，失律丧元，安可更为西方生事？今波斯王身没，其子泥师师充质在京，望差使往波斯册立，即路由二蕃部落，便宜从事，必可有功。"高宗从之，因命行俭册送波斯王，仍为安抚大食使。途经莫贺延碛，属风沙晦暝，导者益迷。行俭命下营，虔诚致祭，令告将吏，泉井非遥。俄而云收风静，行数百步，水草甚丰，后来之人，莫知其处。众皆悦服，比之贰师将军。至西州，人吏郊迎，行俭召其豪杰子弟千余人随己而西。乃扬言绐其下曰："今正炎蒸，热坂难冒，凉秋之后，方可渐行。"都支觇知之，遂不设备。行俭仍召四镇诸蕃酋长豪杰谓曰："忆昔此游，未尝厌倦，虽还京辇，无时暂忘。今因是行，欲寻旧赏，谁能从吾猎也？"是时蕃酋子弟投募者仅万人。行俭假为畋游，教试部伍，数日，遂倍道而进。去都支部落十余里，先遣都支所亲问其安否，外示闲暇，似非讨袭，续又使人趣召相见。都支先与遮匐通谋，秋中拟拒汉使，卒闻军到，计无所出，自率儿侄首领等五百余骑就营来谒，遂擒之。是日，传其契箭，诸部酋长悉来请命，并执送碎叶城。简其精骑，轻赍晓夜前进，将虏遮匐。途中果获都支还使，与遮匐使同来。行俭释遮匐行人，令先往晓喻其主，兼述都支已擒，遮匐寻复来降。于是将吏已下立碑于碎叶城以纪其功，擒都支、遮匐而还。高宗廷劳之曰："比以西服未宁，遣卿总兵讨逐，孤军深入，经途万里。卿权略有闻，诚节夙著，兵不血刃，而凶党殄灭。伐叛柔服，深副朕委。"寻又赐宴。谓行俭曰："卿文武兼资，今故授卿二职。"即日拜礼部尚书，兼检校右卫大将军。
调露元年，突厥阿史德温傅反，单于管内二十四州并叛应之，众数十万。单于都护萧嗣业率兵讨之，反为所败。于是以行俭为定襄道行军大总管，率太仆少卿李思文、营州都督周道务等部兵十八万，并西军程务挺、东军李文暕等总三十余万，连亘数千里，并受行俭节度。唐世出师之盛，未之有也。行俭行至朔州，知萧嗣业以运粮被掠，兵多馁死，遂诈为粮车三百乘，每车伏壮士五人，各赍陌刀、劲弩，以羸兵数百人援车，兼伏精兵，令居险以待之。贼果大下，羸兵弃车散走。贼驱车就泉水。解鞍牧马，方拟取粮，车中壮士齐发，伏兵亦至，杀获殆尽，余众奔溃。自是续遣粮车，无敢近之者。及军至单于之北，际晚下营，壕堑方周，遽令移就崇冈。将士皆以士众方就安堵，不可劳扰，行俭不从，更令促之。比夜，风雨暴至，前设营所水深丈余，将士莫不叹伏。贼众于黑山拒战，行俭频战皆捷，前后杀虏不可胜数。伪可汗泥熟匐为其下所杀，以其首来降，又擒其大首领奉职而还。余党走依狼山。行俭既回，阿史那伏念又伪称可汗，与温傅合势，鸠集余众。明年，行俭复总诸军讨之。顿军于代州之陉口，纵反间说伏念与温傅，令相猜贰。伏念恐惧，密送降款，仍请自效。行俭不泄其事，而密表以闻。数日，有烟尘涨天而至，斥候惶惑来白，行俭召三军谓曰："此是伏念执温傅来降，非他。然受降如受敌，但须严备。"更遣单使迎前劳之。少间，伏念果率其属缚温傅诣军门请罪，尽平突厥余党。高宗大悦，遣户部尚书崔知悌赴军劳之。侍中裴炎害行俭之功，总管程务挺、张虔勖上言："伏念为子营逼逐，又碛北回纥等同向南逼之，窘急而降。"由是行俭之功不录，斩伏念及温傅于都市。行俭叹曰："浑、浚前事，古今耻之。但恐杀降之后，无复来者。"因称疾不出，以勋封闻喜县公。永淳元年，十姓伪可汗车薄反叛，诏复以行俭为金牙道大总管，率十将军以讨之。师未行。其年四月，行俭病卒，年六十四，赠幽州都督，谥曰献。特诏令皇太子差六品京官一人检校家事，五六年间，待儿孙稍成长日停。中宗即位，追赠扬州大都督。