代宗即位，起为忠州刺史，历台、饶二州。以中官吕太一于岭南矫诏募兵为乱，乃以伦为韶州刺史、兼御史中丞、韶连柳三州都团练使。竟遭太一用赂反间，贬信州司马、虔州司户、隋州司户、随州司马。遇赦，旅寓于洪州十数年。
德宗即位，选堪使绝域者，征伦拜太常少卿、兼御史中丞，持节充通和吐蕃使。伦至蕃中，初宣谕皇恩，次述国威德远振，蕃人大悦，赞普入献方物。使还，迁太常卿、兼御史大夫，加银青光禄大夫。再入吐蕃，奉使称旨，西蕃敬服。朝廷得失，数上疏言之。又为宰相卢杞所恶，改太子少保，累加开府仪同三司。泾师之乱，驾幸奉天。及卢杞、白志贞、赵赞等贬官，关播罢相为刑部尚书，伦于朝堂呜咽而言曰："宰相不能弼谐启沃，使天下一至于此。仍为尚书，天下何由致理？"闻者敬惮之。从驾梁州，还京，又欲擢用卢杞为饶州刺史。伦又上表切言不可，深为忠正之士所称叹。以年逾七十，表请休官，改太子少师致仕，封郢国公。时李楚琳以仆射兼卫尉卿，李忠诚以尚书兼少府监，伦上言曰："楚琳凶逆，忠诚蕃戎丑类，不合厕列清班。"又表请置义仓以防水旱，择贤良任之左右。又言吐蕃必无信约，专须防备，不可轻易。上每善遇之。
伦居家孝友，抚弟侄以慈爱称。贞元十四年十二月卒，时年八十三，赠扬州都督。
贾耽，字敦诗，沧州南皮人。以两经登第，调授贝州临清县尉。上疏论时政，授绛州正平尉。从事河东，检校膳部员外郎、太原少尹、北都副留守。又检校礼部郎中、节度副使，改汾州刺史。在郡七年，政绩茂异。入为鸿胪卿，时左右威远营隶鸿胪，耽仍领其使。大历十四年十一月，检校左散骑常侍、兼梁州刺史、御史大夫、山南西道节度使。
建中三年十一月，检校工部尚书、兼御史大夫、山南东道节度使。德宗移幸梁州。兴元元年二月，耽使行军司马樊泽奏事于行在，泽既复命，方大宴诸将，有急牒至，言泽代耽为节度使，而召耽为工部尚书。耽得牒内怀中，宴饮不改容。及散，召樊泽，以诏授之曰："诏以行军为节度使，耽今即上路。"因告将吏使谒泽。牙将张献甫曰："天子巡幸山南，尚书使行军奉表起居，而行军敢自图节钺，潜夺尚书土地，此可谓事人不忠。军中皆不伏，请杀樊泽。"耽曰："公是何言欤！天子有命，即为节度使矣。耽今赴行在，便与公偕行。"即日离镇，以献甫自随，军中乃安。寻以本官为东都留守、东畿汝南防御使。
贞元二年，改检校右仆射、兼滑州刺史、义成军节度使。是时淄青节度使李纳虽去伪王号，外奉朝旨，而心常蓄并吞之谋。纳兵士数千人自行营归，路由滑州，大将请城外馆之。耽曰："与人邻道，奈何野处其兵？"命馆之城内，淄青将士皆心服之。耽善射好猎，每出畋不过百骑，往往猎于李纳之境。纳闻之，大喜，心畏其度量，不敢异图。九年，征为右仆射、同中书门下平章事。
耽好地理学，凡四夷之使及使四夷还者，必与之从容，讯其山川土地之终始。是以九州之夷险，百蛮之土俗，区分指画，备究源流。自吐蕃陷陇右积年，国家守于内地，旧时镇戍，不可复知。耽乃画陇右、山南图，兼黄河经界远近，聚其说为书十卷，表献曰：
臣闻楚左史倚相能读《九丘》，晋司空裴秀创为六体；《九丘》乃成赋之古经，六体则为图之新意。臣虽愚昧，夙尝师范，累蒙拔擢，遂忝台司。虽历践职任，诚多旷阙，而率土山川，不忘寤寐。其大图外薄四海，内别九州，必藉精详，乃可摹写，见更缵集，续冀毕功。然而陇右一隅，久沦蕃寇，职方失其图记，境土难以区分。辄扣课虚微，采掇舆议，画《关中陇右及山南九州等图》一轴。伏以洮、湟旧墟，连接监牧；甘、凉右地，控带朔陲。岐路之侦候交通，军镇之备御冲要，莫不匠意就实，依稀像真。如圣恩遣将护边，新书授律，则灵、庆之设险在目，原、会之封略可知。诸州诸军，须论里数人额；诸山诸水，须言首尾源流。图上不可备书，凭据必资记注，谨撰《别录》六卷。又黄河为四渎之宗，西戎乃群羌之帅，臣并研寻史牒，翦弃浮词，罄所闻知，编为四卷，通录都成十卷。文义鄙朴，伏增惭悚。
德宗览之称善，赐厩马一匹、银采百匹、银瓶盘各一。
至十七年，又撰成《海内华夷图》及《古今郡国县道四夷述》四十卷，表献之，曰：