德宗在奉天，为朱泚攻围，李怀光自魏县赴难。或谓王翃、赵赞曰："怀光累叹愤，以为宰相谋议乖方，度支赋敛烦重，京尹刻薄军粮，乘舆播迁，三臣之罪也。今怀光勋业崇重，圣上必开襟布诚，询问得失，使其言入，岂不殆哉！"翃、赞白于杞，杞大骇惧，从容奏曰："怀光勋业，宗社是赖。臣闻贼徒破胆，皆无守心。若因其兵威，可以一举破贼；今若许其朝觐，则必赐宴，赐宴则留连，使贼得京城，则从容完备，恐难图之。不如使怀光乘胜进收京城，破竹之势，不可失也。"帝然之，乃诏怀光率众屯便桥，克期齐进。怀光大怒，遂谋异志，德宗方悟为杞所构。物议喧腾，归咎于杞，乃贬为新州司马，白志贞恩州司马，赵赞为播州司马。
遇赦，移吉州长史。在贬所谓人曰："吾必再入用。"是日，上果用杞为饶州刺史。给事中袁高宿直，当草杞制，遂执以谒宰相卢翰、刘从一曰："杞作相三年，矫诬阴贼，排斥忠良，朋附者欬唾立至青云，睚眦者顾盼已挤沟壑。傲很背德，反乱天常，播越銮舆，疮痍天下，皆杞之为也。幸免诛戮，唯示贬黜，寻已稍迁近地，更授大郡，恐失天下望，惟相公执奏之，事尚可救。"翰、从一不悦，遂改命舍人草制。明日诏下，袁高执奏曰："卢杞为政，极恣凶恶，三军将校，愿食其肉，百辟卿士，嫉之若仇。"谏官赵需、裴佶、宇文炫、卢景亮、张荐等上疏曰："伏以吉州长史卢杞，外矫俭简，内藏奸邪，三年擅权，百揆失序，恶直丑正，乱国殄人，天地神祗所知，蛮夷华夏同弃。伏惟故事，皆得上闻，自杞为相，要官大臣，动逾月不敢奏闻，百僚惴惴，常惧颠危。及京邑倾沦，皇舆播越，陛下炳然觉悟，出弃遐荒，制曰：'忠谠壅于上闻，朝野为之侧目。'由是忠良激劝，内外欢欣；今复用为饶州刺史，众情失望，皆谓非宜。臣闻君之所以临万姓者，政也；万姓之所以载君者，心也。倘加巨奸之宠，必失万姓之心，乞回圣慈，遽辍新命。"疏奏不答。谏官又论曰："卢杞蒙蔽天听，隳紊朝典，致乱危国，职杞之由，可谓公私巨蠹，中外弃物。自闻再加擢用，忠良痛骨，士庶寒心。臣昨者沥肝上闻，冒死不恐，冀回宸睠，用快群情；至今拳拳，未奉圣旨，物议腾沸，行路惊嗟。人之无良，一至于此。伏乞俯从众望，永弃奸臣。幸免诛夷，足明恩贷；特加荣宠，恐造祸阶。臣等忝列谏司，今陈狂瞽。"给事中袁高坚执不下，乃改授澧州别驾。翌日延英，上谓臣曰："朕欲授杞一小州刺史，可乎？"李勉对曰："陛下授杞大郡亦可，其如兆庶失望何？"上曰："众人论杞奸邪，朕何不知？"勉曰："卢杞奸邪，天下人皆知；唯陛下不知，此所以为奸邪也！"德宗默然良久。散骑常侍李泌复对，上曰："卢杞之事，朕已可袁高所奏，如何？"泌拜而言曰："累日外人窃议，以陛下同汉之桓、灵；臣今亲承圣旨，乃知尧、舜之不迨也！"德宗大悦，慰勉之。杞寻卒于澧州。
子元辅，字子望，少以清行闻于时。进士擢第，授崇文馆校书郎。德宗思杞不已，乃求其后，特恩拜左拾遗，再迁左司员外郎，历杭、常、绛三州刺史。以课最高，征为吏部郎中，迁给事中，改刑部侍郎。自兵部侍郎出为华州刺史、潼关防御、镇国军等使，复为兵部侍郎。元辅自祖至曾，以名节著于史册。元辅简絜贞方，绰继门风，历践清贯，人亦不以父之丑行为累，人士归美。大和三年八月卒，时年五十六。
白志贞者，太原人，本名琇珪。出于胥吏，事节度使李光弼，小心勤恪，动多计数，光弼深委信之，帐中之事，与琇珪参决。代宗素知之，光弼薨后，用为司农少卿，迁太卿，在寺十余年。德宗尝召见与语，引为腹心，遂用为神策军使、检校左散骑常侍、兼御史大夫，赐名志贞。善伺候上意，言无不从。
建中四年，李希烈陷汝州，命志贞为京城召募使。时尚父子仪端王傅吴仲孺家财巨万，以国家召募有急，惧不自安，乃上表请以子弟率奴客从军，德宗嘉之，超授五品官。由是志贞请令节度、观察、团练等使并尝为是官者，令家出子弟甲马从军，亦与其男官。是时豪家不肖子幸之，贫而有知者苦之。自是京师人心摇震，不保家室。时禁军募致，悉委志贞，两军应赴京师，杀伤殆尽，都不奏闻，皆以京师沽贩之徒以填其阙。其人皆在市廛，及泾师犯阙，诏志贞以神策军拒贼，无人至者，上无以御寇，乃图出幸。时令狐建以龙武军四百人从驾至奉天，仍以志贞为行在都知兵马使。闻李怀光至，恐暴扬其罪，乃与卢杞同沮怀光入朝，众议喧沸，言致播迁，卢杞、志贞之罪也。故与杞同贬，遇赦量移阆州别驾。贞元二年，迁果州刺史，宰臣李勉及谏官表疏论列，言志贞与卢杞罪均，未宜叙用，固执不许，凡旬日，方下其诏。贞元三年，迁润州刺史、兼御史大夫、浙西观察使。是年六月卒。