林甫京城邸第，田园水硙，利尽上腴。城东有薛王别墅，林亭幽邃，甲于都邑，特以赐之，及女乐二部，天下珍玩，前后赐与，不可胜纪。宰相用事之盛，开元已来，未有其比。然每事过慎，条理众务，增修纲纪，中外迁除，皆有恒度。而耽宠固权，己自封植，朝望稍著，必阴计中伤之。初，韦坚登朝，以坚皇太子妃兄，引居要职，示结恩信，实图倾之，乃潜令御史中丞杨慎矜阴伺坚隙。会正月望夜，皇太子出游，与坚相见，慎矜知之，奏上。上大怒，以为不轨，黜坚，免太子妃韦氏。林甫因是奏李适之与坚昵狎，及裴宽、韩朝宗并曲附适之，上以为然，赐坚自尽，裴、韩皆坐之斥逐。后杨慎矜权位渐盛，林甫又忌之，乃引王鉷为御史中丞，托以心腹。鉷希林甫意，遂诬罔密奏慎矜左道不法，遂族其家。杨国忠以椒房之亲，出入中禁，奏请多允，乃擢在台省，令按刑狱。会皇太子良娣杜氏父有邻与子婿柳勣不叶，勣飞书告有邻不法，引李邕为证，诏王鉷与国忠按问。鉷与国忠附会林甫奏之，于是赐有邻自尽，出良娣为庶人，李邕、裴敦复枝党数人并坐极法。林甫之苞藏安忍，皆此类也。
林甫自以始谋不佐皇太子，虑为后患，故屡起大狱以危之，赖太子重慎无过，流言不入。林甫尝令济阳别驾魏林告陇右、河西节度使王忠嗣，林往任朔州刺史，忠嗣时为山东节度，自云与忠王同养宫中，情意相得，欲拥兵以佐太子。玄宗闻之曰："我儿在内，何路与外人交通？此妄也。"然忠嗣亦左授汉阳太守。八载，咸宁太府赵奉章告林甫罪状二十馀条。告未上，林甫知之，讽御史台逮捕，以为妖言，重杖决杀。
十载，林甫兼领安西大都护、朔方节度，俄兼单于副大都护。十一载，以朔方副使李献忠叛，让节度，举安思顺自代。国家武德、贞观已来，蕃将如阿史那杜尔、契苾何力，忠孝有才略，亦不专委大将之任，多以重臣领使以制之。开元中，张嘉贞、王晙、张说、萧嵩、杜暹皆以节度使入知政事，林甫固位，志欲杜出将入相之源，尝奏曰："文士为将，怯当矢石，不如用寒族、蕃人，蕃人善战有勇，寒族即无党援。"帝以为然，乃用思顺代林甫领使。自是高仙芝、哥舒翰皆专任大将，林甫利其不识文字，无入相由，然而禄山竟为乱阶，由专得大将之任故也。
林甫恃其早达，舆马被服，颇极鲜华。自无学术，仅能秉笔，有才名于时者尤忌之。而郭慎微、苑咸文士之阘茸者，代为题尺。林甫典选部时，选人严迥判语有用"杕杜"二字者，林甫不识"杕"字，谓吏部侍郎韦陟曰："此云'杖杜'，何也？"陟俯首不敢言。太常少卿姜度，林甫舅子，度妻诞子，林甫手书庆之曰："闻有弄獐之庆。"客视之掩口。
初，杨国忠登朝，林甫以微才不之忌；及位至中司，权倾朝列，林甫始恶之。时国忠兼领剑南节度，会南蛮寇边，林甫请国忠赴镇。帝虽依奏，然待国忠方渥，有诗送行，句末言入相之意。又曰："卿止到蜀郡处置军事，屈指待卿。"林甫心尤不悦。林甫时已寝疾。其年十月，扶疾从幸华清宫，数日增剧，巫言一见圣从差减，帝欲视之，左右谏止。乃敕林甫出于庭中，上登降圣阁遥视，举红巾招慰之，林甫不能兴，使人代拜于席。翌日，国忠自蜀还，谒林甫，拜于床下，林甫垂涕托以后事。寻卒，赠太尉、扬州大都督，给班剑、西园秘器。诸子以吉仪护柩还京师，发丧于平康坊之第。
林甫晚年溺于声妓，姬侍盈房。自以结怨于人，常忧刺客窃发，重扃复壁，络板甃石，一夕屡徙，虽家人不之知。有子二十五人、女二十五人：岫为将作监，崿为司储郎中，屿为太常少卿；子婿张博济为鸿胪少卿，郑平为户部员外郎，杜位为右补阙，齐宣为谏议大夫，元捴为京兆府户曹。
初，林甫尝梦一白晰多须长丈夫逼己，接之不能去。既寤，言曰："此形状类裴宽，宽谋代我故也。"时宽为户部尚书、兼御史大夫，故因李适之党斥逐之。是时杨国忠始为金吾胄曹参军，至是不十年，林甫卒，国忠竟代其任，其形状亦类宽焉。国忠素憾林甫，既得志，诬奏林甫与蕃将阿布思同构逆谋，诱林甫亲族间素不悦者为之证。诏夺林甫官爵，废为庶人，岫、崿诸子并谪于岭表。林甫性沉密，城府深阻，未尝以爱憎见于容色。自处台衡，动循格令，衣寇士子，非常调无仕进之门。所以秉钧二十年，朝野侧目，惮其威权。及国忠诬构，天下以为冤。