时将发使聘吴，并遣当时文士作书与孙皓，帝用勖所作。皓既报命和亲，帝谓勖曰：“君前作书，使吴思顺，胜十万之众也。”帝即晋王位，以勖为侍中，封安阳子，邑千户。武帝受禅，改封济北郡公。勖以羊祜让，乃固辞为侯。拜中书监，加侍中，领着作，与贾充共定律令。
充将镇关右也，勖谓冯紞曰：“贾公远放，吾等失势。太子婚尚未定，若使充女得为妃，则不留而自停矣。”勖与紞伺帝间并称“充女才色绝世，若纳东宫，必能辅佐君子，有《关雎》后妃之德。”遂成婚。当时甚为正直者所疾，而获佞媚之讥焉。久之，进位光禄大夫。既掌乐事，又修律吕，并行于世。初，勖于路逢赵贾人牛铎，识其声。及掌乐，音韵未调，乃曰：“得赵之牛铎则谐矣。”遂下郡国，悉送牛铎，果得谐者。又尝在帝坐进饭，谓在坐人曰：“此是劳薪所炊。”咸未之信。帝遣问膳夫，乃云：“实用故车脚。”举世伏其明识。俄领秘书监，与中书令张华依刘向《别录》，整理记籍。又立书博士，置弟子教习，以钟、胡为法。
咸宁初，与石苞等并为佐命功臣，列于铭飨。及王浚表请伐吴，勖与贾充固谏不可，帝不从，而吴果灭。以专典诏命，论功封子一人为亭侯，邑一千户，赐绢千匹。又封孙显为颍阳亭侯。
及得汲郡冢中古文竹书，诏勖撰次之，以为《中经》，列在秘书。
时议遣王公之国，帝以问勖，勖对曰：“诸王公已为都督，而使之国，则废方任。又分割郡县，人心恋本，必用嗷嗷。国皆置军，官兵还当给国，而阙边守。”帝重使勖思之，勖又陈曰：“如诏准古方伯选才，使军国各随方面为都督，诚如明旨。至于割正封疆。使亲疏不同诚为佳矣。然分裂旧土，犹惧多所摇动，必使人心聪扰，思惟窃宜如前。若于事不得不时有所转封，而不至分割土域，有所损夺者，可随宜节度。其五等体国经远，实不成制度。然但虚名，其于实事，略与旧郡县乡亭无异。若造次改夺，恐不能不以为恨。今方了其大者，以为五等可须后裁度。凡事虽有久而益善者，若临时或有不解，亦不可忽。”帝以勖言为允，多从其意。
时又议省州郡县半吏以赴农功，勖议以为：“省吏不如省官，省官不如省事，省事不如清心。昔萧曹相汉，载其清静，致画一之歌，此清心之本也。汉文垂拱，几致刑措，此省事也。光武并合吏员，县官国邑裁置十一，此省官也。魏太和中，遣王人四出，减天下吏员，正始中亦并合郡县，此省吏也。今必欲求之于本，则宜以省事为先。凡居位者，使务思萧曹之心，以翼佐大化。笃义行，崇敦睦，使昧宠忘本者不得容，而伪行自息，浮华者惧矣。重敬让，尚止足，令贱不妨贵，少不陵长，远不间亲，新不间旧，小不加大，淫不破义，则上下相安，远近相信矣。位不可以进趣得，誉不可以朋党求，则是非不妄而明，官人不惑于听矣。去奇技，抑异说，好变旧以徼非常之利者必加其诛，则官业有常，人心不迁矣。事留则政稽，政稽则功废。处位者而孜孜不怠，奉职司者而夙夜不懈，则虽在挈瓶而守不假器矣。使信若金石，小失不害大政，忍忿悁以容之。简文案，略细苛，令之所施，必使人易视听，愿之如阳春，畏之如雷震。勿使微文烦挠，为百吏所黩，二三之命，为百姓所餍，则吏竭其诚，下悦上命矣。设官分职，委事责成。君子心竞而不力争，量能受任，思不出位，则官无异业，政典不奸矣。凡此皆愚心谓省事之本也。苟无此愆，虽不省吏，天下必谓之省矣。若欲省官，私谓九寺可并于尚书，兰台宜省付三府。然施行历代，世之所习，是以久抱愚怀而不敢言。至于省事，实以为善。若直作大例，皆减其半，恐文武众官郡国职业，及事之兴废，不得皆同。凡发号施令，典而当则安，傥有驳者，或致壅否。凡职所临履，先精其得失。使忠信之官，明察之长，各裁其中，先条上言之。然后混齐大体，详宜所省，则令下必行，不可摇动。如其不尔，恐适惑人听，比前行所省，皆须臾辄复，或激而滋繁，亦不可不重。”勖论议损益多此类。
太康中诏曰：“勖明哲聪达，经识天序，有佐命之功，兼博洽之才。久典内任，着勋弘茂，询事考言，谋猷允诚。宜登大位，毗赞朝政。今以勖为光禄大夫、仪同三司、开府辟召，守中书监、侍中、侯如故。”时太尉贾充、司徒李胤并薨，太子太傅又缺，勖表陈：“三公保傅，宜得其人。若使杨珧参辅东宫，必当仰称圣意。尚书令卫瓘、吏部尚书山涛皆可为司徒。若以瓘新为令未出者，涛即其人。”帝并从之。
明年秋，诸州郡大水，兖土尤甚。勖陈宜立都水使者。其后门下启通事令史伊羡、赵咸为舍人，对掌文法。诏以问勖，勖曰：今天下幸赖陛下圣德，六合为一，望道化隆洽，垂之将来。而门下上称程咸、张恽，下称此等，欲以文法为政，皆愚臣所未达者。昔张释之谏汉文，谓兽圈啬夫不宜见用；邴吉住车，明调和阴阳之本。此二人岂不知小吏之惠，诚重惜大化也。昔魏武帝使中军司荀攸典刑狱，明帝时犹以付内常侍。以臣所闻，明帝时唯有通事刘泰等官，不过与殿中同号耳。又顷言论者皆云省官减事，而求益吏者相寻矣。多云尚书郎太令史不亲文书，乃委付书令史及干，诚吏多则相倚也。增置文法之职，适恐更耗扰台阁，臣窃谓不可。”
时帝素知太子暗弱，恐后乱国，遣勖及和峤往观之。勖还盛称太子之德，而峤云太子如初。于是天下贵峤而贱勖。帝将废贾妃，勖与冯紞等谏请，故得不废。时议以勖倾国害时，孙资、刘放之匹。然性慎密，每有诏令大事，虽已宣布，然终不言，不欲使人知己豫闻也。族弟良曾劝勖曰：“公大失物情，有所进益者自可语之，则怀恩多矣。”其婿武统亦说勖“宜有所营置，令有归戴者”。勖并默然不应，退而语诸子曰：“人臣不密则失身，树私则背公，是大戒也。汝等亦当宦达人间，宜识吾此意。”久之，以勖守尚书令。
勖久在中书，专管机事。及失之，甚罔罔怅恨。或有贺之者，勖曰：“夺我凤皇池，诸君贺我邪！”及在尚书，课试令史以下，核其才能，有暗于文法，不能决疑处事者，即时遣出。帝尝谓曰：“魏武帝言‘荀文若之进善，不进不止；荀公达之退恶，不退不休’。二令君之美，亦望于君也。”居职月余，以母忧上还印绶，帝不许。遣常侍周恢喻旨，勖乃奉诏视职。
勖久管机密，有才思，探得人主微旨，不犯颜忤争，故得始终全其宠禄。太康十年卒，诏赠司徒，赐东园秘器、朝服一具、钱五十万、布百匹。遣兼御史持节护丧，谥曰成。勖有十子，其达者辑、籓、组。
辑嗣，官至卫尉。卒，谥曰简。子畯嗣。卒，谥曰烈。无嫡子，以弟息识为嗣。辑子绰。