太宗不纳。十八年，拜黄门侍郎，参综朝政。高丽莫离支遣使贡白金，遂良言于太宗曰："莫离支虐弑其主，九夷所不容，陛下以之兴兵，将事吊伐，为辽山之人报主辱之耻。古者，讨弑君之贼，不受其赂。昔宋督遗鲁君以郜鼎，桓公受之于太庙，臧哀伯谏曰：'君人者昭德塞违，今灭德立违，而置其赂器于太庙，百官象之，其又何诛焉？武王克商，迁九鼎于洛邑，义士犹或非之，而况将昭违乱之赂器，置诸太庙，其若之何？'夫《春秋》之书，百王取法，若受不臣之筐篚，纳弑逆之朝贡，不以为愆，何所致伐？臣谓莫离支所献，自不得受。"太宗纳焉，以其使属吏。
太宗既灭高昌，每岁调发千余人防遏其地，遂良上疏曰：
臣闻古者哲后，必先事华夏而后夷狄，务广德化，不事遐荒。是以周宣薄伐，至境而止；始皇远塞，中国分离。汉武负文、景之聚财，玩士马之余力，始通西域，初置校尉。军旅连出，将三十年。复得天马于宛城，采蒲萄于安息。而海内虚竭，生人失所，租及六畜，算至舟车，因之凶年，盗贼并起，搜粟都尉桑弘羊复希主意，遣士卒远田轮台，筑城以威西域。帝翻然追悔，情发于中，弃轮台之野，下哀痛之诏，人神感悦，海内乃康。向使武帝复用弘羊之言，天下生灵皆尽之矣。是以光武中兴，不逾葱岭，孝章即位，都护来归。
陛下诛灭高昌，威加西域，收其鲸鲵，以为州县。然则王师初发之岁，河西供役之年，飞刍挽粟，十室九空，数郡萧然，五年不复。陛下岁遣千余人远事屯戍，终年离别，万里思归。去者资装，自须营办，既卖菽粟，倾其机杼。经途死亡，复在其外，兼遣罪人，增其防遏。彼罪人者，生于贩肆，终朝惰业，犯禁违公。止能扰于边城，实无益于行阵。所遣之内，复有逃亡，官司捕捉，为国生事。高昌途路，沙碛千里，冬风冰冽，夏风如焚。行人去来，遇之多死。《易》云："安不忘危，理不忘乱。"设令张掖尘飞，酒泉烽举，陛下岂能得高昌一人菽粟而及事乎？终须发陇右诸州，星驰电击。由斯而言，此河西者方于心腹，彼高昌者他人手足，岂得糜费中华，以事无用？《书》曰："不作无益害有益。"其此之谓乎！
陛下道映先天，威行无外，平颉利于沙塞，灭吐浑于西海。突厥余落，为立可汗；吐浑遗氓，更树君长。复立高昌，非无前例，此所谓有罪而诛之，既伏而立之。四海百蛮，谁不闻见，蠕动怀生，畏威慕德。宜择高昌可立者立之，征给首领，遣还本国，负戴洪恩，长为藩翰。中国不扰，既富且宁，传之子孙，以贻永世。
二十年，太宗于寝殿侧别置一院，令太子居，绝不令往东宫。遂良复上疏谏曰：
臣闻周世问安，三至必退，汉储视膳，五日乃来。前贤作法，规模弘远。礼曰："男子十年出就外傅，出宿于外，学书计也。然则古之达者，岂无慈心？减兹私爱，欲使成立。凡人尚犹如此，况君之世子乎？自当春诵夏弦，亲近师傅，体人间之庶事，适君臣之大道，使翘足延首，皆聆善声。若献岁之有阳春，玄天之有日月，弘此懿德，乃作元良。伏惟陛下道育三才，功包九有，亲树太子，莫不欣欣。既云废昏立明，须称天下瞻望，而教成之道，实深乖阙。不离膝下，常居宫内，保傅之说无畅，经籍之谈蔑如。且朋友不可以深交，深交必有怨；父子不可以滞爱，滞爱或生愆。伏愿远览殷、周，近遵汉、魏，不可顿革，事须阶渐。尝计旬日，半遣还宫，专学艺以润身，布芳声于天下，则微臣虽死，犹曰生年。
太宗从之。
遂良前后谏奏及陈便宜书数十上，多见采纳，其年，加银青光禄大夫。二十一年，以本官检校大理卿，寻丁父忧解。明年，起复旧职，俄拜中书令。
二十三年，太宗寝疾，召遂良及长孙无忌入卧内，谓之曰："卿等忠烈，简在朕心。昔汉武寄霍光，刘备托葛亮，朕之后事，一以委卿。太子仁孝，卿之所悉，必须尽诚辅佐，永保宗社。"又顾谓太子曰："无忌、遂良在，国家之事，汝无忧矣。"仍命遂良草诏。高宗即位，赐爵河南县公。永徽元年，进封郡公。寻坐事出为同州刺史。三年，征拜吏部尚书、同中书门下三品，监修国史，加光禄大夫。其月，又兼太子宾客。四年，代张行成为尚书右仆射，依旧知政事。
六年，高宗将废皇后王氏，立昭仪武氏为皇后，召太尉长孙无忌、司空李勣、尚书左仆射于志宁及遂良以筹其事。将入，遂良谓无忌等曰："上意欲废中宫，必议其事，遂良今欲陈谏，众意如何？"无忌曰："明公必须极言，无忌请继焉。"及入，高宗难于发言，再三顾谓无忌曰："莫大之罪，绝嗣为甚。皇后无胤息，昭仪有子，今欲立为皇后，公等以为何如？"遂良曰："皇后出自名家，先朝所娶，伏事先帝，无愆妇德。先帝不豫，执陛下手以语臣曰：'我好儿好妇，今将付卿。'陛下亲承德音，言犹在耳。皇后自此未闻有愆，恐不可废。臣今不敢曲从，上违先帝之命，特愿再三思审。愚臣上忤圣颜，罪合万死，但愿不负先朝厚恩，何顾性命？"遂良致笏于殿陛，曰："还陛下此笏。"仍解巾叩头流血。帝大怒，令引出。长孙无忌曰："遂良受先朝顾命，有罪不加刑。"翌日，帝谓李勣曰："册立武昭仪之事，遂良固执不从。遂良既是受顾命大臣，事若不可，当且止也。"勣对曰："此乃陛下家事，不合问外人。"帝乃立昭仪为皇后，左迁遂良潭州都督。显庆二年，转桂州都督。未几，又贬为爱州刺史。明年，卒官，年六十三。