遂良卒后二岁余，许敬宗、李义府奏言长孙无忌所构逆谋，并遂良扇动，乃追削官爵，子孙配流爱州。弘道元年二月，高宗遗诏放还本郡。神龙元年，则天遗制复遂良及韩瑗爵位。
韩瑗，雍州三原人也。祖绍，隋太仆少卿。父仲良，武德初为大理少卿，受诏与郎楚之等掌定律令。仲良言于高祖曰："周代之律，其属三千，秦法已来，约为五百。若远依周制，繁紊更多。且官吏至公，自当奉法，苟若徇己，岂顾刑名？请崇宽简，以允惟新之望。"高祖然之。于是采定《开皇律》行之，时以为便。贞观中，位至刑部尚书、秦州都督府长史、颍川县公。瑗少有节操，博学有吏才。贞观中，累至兵部侍郎，袭父颍川公。永徽三年，拜黄门侍郎。四年，与中书侍郎来济皆同中书门下三品，监修国史。五年，加银青光禄大夫。六年，迁侍中，其年兼太子宾客。时高宗欲废王皇后，瑗涕泣谏曰："皇后是陛下在藩府时先帝所娶，今无愆过，欲行废黜，四海之士，谁不惕然？且国家屡有废立，非长久之术。愿陛下为社稷大计，无以臣愚，不垂采察。"帝不纳。明日，瑗又谏，悲泣不能自胜。帝大怒，促令引出。寻而尚书左仆射褚遂良以忤旨左授潭州都督，瑗复上疏理之曰：
古之圣王，立谏鼓，设谤木，冀欲闻逆耳之言，甘苦口之议，发扬大化，裨益洪猷，垂令誉于将来，播休声于不朽者也。伏见诏书以褚遂良为潭州都督，臣夙夜思之，用增感激。臣识惭知远，业谢通经，载抚愚情，诚为未可。遂良运偶升平，道昭前烈，束发从宦，方淹累稔。趋侍陛下，俄历岁年，不闻涓滴之愆，常睹勤劳之效。竭忠诚于早岁，罄直道于兹年。体国忘家，捐身徇物，风霜其操，铁石其心。诚可重于皇明，讵专方于曩昔？且先帝纳之于帷幄，寄之以心膂，德逾水石，义冠舟车，公家之利，言无不可。及缠悲四海，遏密八音，竭忠国家，亲承顾托，一德无二，千古懔然。此不待臣言，陛下备知之矣。臣尝有此心，未敢闻奏。且万姓失业，旰食忘劳；一物不安，纳隍轸虑，在于微细，宁得过差。况社稷之旧臣，陛下之贤佐，无闻罪状，斥去朝廷，内外氓黎，咸嗟举措。观其近日言事，披诚恳切，讵肯后陛下之德，异于尧、舜；惧陛下之过，尘于史册。而乃深遭厚谤，重负丑言，可以痛志士之心，损陛下之明也。臣闻晋武弘裕，不贻刘毅之诛；汉祖深仁，无恚周昌之直。而遂良被迁，已经寒暑，违忤陛下，其罚塞焉。伏愿缅鉴无辜，稍宽非罪，俯矜微款，以顺人情。
疏奏，帝谓瑗曰："遂良之情，朕亦知之矣。然其悖戾犯上，以此责之，朕岂有过，卿言何若是之深也！"瑗对曰："遂良可谓社稷忠臣，臣恐以谀佞之辈，苍蝇点白，损陷忠贞。昔微子去之而殷国以亡，张华不死而纲纪不乱，国之欲谢，善人其衰。今陛下富有四海，八纮清泰，忽驱逐旧臣，而不垂省察乎！伏愿违彼覆车，以收往过，垂劝诫于事君，则群生幸甚。"帝竟不纳。瑗以言不见用，忧愤上表，请归田里，诏不许。显庆二年，许敬宗、李义府希皇后之旨，诬奏瑗与褚遂良潜谋不轨，以桂州用武之地，故授遂良桂州刺史，实以为外援。于是更贬遂良为爱州刺史，左授瑗振州刺史。四年，卒官，年五十四。明年，长孙无忌死，敬宗等又奏瑗与无忌通谋，遣使杀之。及使至，瑗已死，更发棺验尸而还，籍没其家，孙配徙岭表。神龙元年，则天遗制令复其官爵。
来济，扬州江都人，隋左翊卫大将军荣国公护子也。宇文化及之难，阖门遇害。济幼逢家难，流离艰险，而笃志好学，有文词，善谈论，尤晓时务。举进士，贞观中累转通事舍人。太子承乾之败，太宗谓侍臣曰："欲何以处承乾？"群臣莫敢对，济进曰："陛下上不失作慈父，下得尽天年，即为善矣。"帝纳其言。俄除考功员外郎。十八年，初置太子司议郎，妙选人望，遂以济为之，仍兼崇贤馆直学士。寻迁中书舍人，与令狐德棻等撰《晋书》。永徽二年，拜中书侍郎，兼弘文馆学士，监修国史。四年，同中书门下三品。五年，加银青光禄大夫，以修国史功封南阳县男，赐物七百段。六年，迁中书令、检校吏部尚书。时高宗欲立昭仪武氏为宸妃，济密表谏曰："宸妃古无此号，事将不可。"武皇后既立，济等惧不自安；后乃抗表称济忠公，请加赏慰，而心实恶之。显庆元年，兼太子宾客，进爵为侯，中书令如故。二年，又兼太子詹事。寻而许敬宗等奏济与褚遂良朋党构扇，左授台州刺史。五年，徙庭州刺史。龙朔二年，突厥入寇，济总兵拒之，谓其众曰："吾尝挂刑网，蒙赦性命，当以身塞责，特报国恩。"遂不释甲胄赴贼，没于阵。时年五十三，赠楚州刺史，给灵舆递还乡。有文集三十卷，行于代。