初，羡之年少时，尝有一人来谓曰："我是汝祖。"羡之拜。此人曰："汝有贵相而有大厄，宜以钱二十八文埋宅四角，可以免灾。过此可位极人臣。"后羡之随亲之县，住在县内。尝暂出，而贼自后破县，县内人无免者，鸡犬亦尽，唯羡之在外获全。又随从兄履之为临海乐安县，尝行经山中，见黑龙长丈余，头有角，前两足皆具，无后足，曳尾而行。及拜司空，守关将入，彗星辰见危南。又当拜时，双鹤集太极殿东鸱尾鸣唤，竟以凶终。
羡之兄钦之，位秘书监。钦之子佩之，轻薄好利，武帝以其姻戚，累加宠任，为丹阳尹。景平初，以羡之知权，颇豫政事，与王韶之、程道惠、中书舍人邢安泰、潘盛为党。时谢晦久病连灸，不堪见客。佩之等疑其托疾有异图，与韶之、道惠同载诣傅亮，称羡之意，欲令作诏诛之。亮曰："己等三人同受顾命，岂可自相残戮？"佩之等乃止。羡之既诛，文帝特宥佩之，免官而已。其冬佩之谋反事发被诛。
佩之弟逵之，尚武帝长女会稽宣公主，为彭城、沛二郡太守。武帝诸子并幼，以逵之姻戚，将大任之，欲先令立功。及讨司马休之，使统军为前锋，待克当即授荆州，于阵见害。追赠中书侍郎。子湛之。
湛之，字孝源，幼孤，为武帝所爱。常与江夏王义恭寝食不离帝侧。永初三年，诏以公主一门嫡长，且湛之致节之胤，封枝江县侯。数岁与弟淳之共车行，牛奔车坏，左右人驰来赴之。湛之先令取弟，众咸叹其幼而有识。及长，颇涉文义，善自位待，事祖母及母以孝闻。
元嘉中，以为黄门侍郎。祖母年老，辞以朝直不拜。后拜秘书监。会稽公主身居长嫡，为文帝所礼，家事大小必谘而后行。西征谢晦，使公主留止台内，总摄六宫，每有不得意，辄号哭，上甚惮之。初，武帝微时，贫陋过甚，尝自新洲伐荻，有纳布衣袄等，皆是敬皇后手自作。武帝既贵，以此衣付公主曰："后世若有骄奢不节者，可以此衣示之。"湛之为大将军彭城王义康所爱，与刘湛等颇相附。及得罪，事连湛之。文帝大怒，将致大辟。湛之忧惧无计，以告公主。公主即日入宫，及见文帝，因号哭下床，不复施臣妾之礼。以锦囊盛武帝纳衣，掷地以示上曰："汝家本贱贫，此是我母为汝父作此纳衣。今日有一顿饱食，便欲残害我儿子。"上亦号哭，湛之由此得全。
再迁太子詹事，寻加侍中。湛之善尺牍，音辞流畅；贵戚豪强，产业甚厚，室宇园池，贵游莫及，伎乐之妙，冠绝一时。门生千余，皆三吴富人子，姿质端美，衣服鲜丽。每出入行游，途巷盈满。泥雨日，悉以后车载之。文帝每嫌其侈纵。时安成公何勖，无忌之子，临汝公孟灵休，昶之子也，并名奢豪，与湛之以肴膳器服车马相尚，都下为之语曰："安成食，临汝饰。"湛之美兼何、孟。勖官至侍中，追谥荒公。灵休善弹棋，官至秘书监。
湛之后迁丹阳尹，加散骑常侍，以公主忧不拜。过葬，复授前职。二十二年，范晔等谋反。湛之始与之同，后发其事，所陈多不尽，为晔等款辞所连。有司以湛之关豫逆党，事起积岁，末乃归闻，多有蔽匿，请免官削爵，付廷尉。上不许。湛之诣阙上疏请罪，以为"初通其谋，为诱引之辞，晔等并见怨咎，规相祸陷。又昔义康南出之始，敕臣入相伴慰，殷勤异意，颇形言旨。遗臣利刃，期以际会。臣苦相谏譬，深加拒塞，以为怨愤所至，不足为虞，便以关启，惧成虚妄。非为纳受，曲相蔽匿。又令申情范晔，释中间之憾，致怀萧思话，恨婚意未申。谓此侥幸，亦不宣达。陛下敦惜天伦，彰于四海，蕃禁优简，亲理咸通。又昔蒙眷顾，不容自绝，音翰信命，时相往来。或言少意多，旨深文浅，辞色之间，往往难测。臣顾惟心无邪悖，故不稍以自嫌，慺慺丹实，具如此启。臣虽驽下，情匪木石，岂不知丑点难婴，伏剑为易，而靦然视息，忍此余生，实非苟吝微命，假延漏刻。诚以负戾灰灭，贻耻方来，贪及视息，少自披诉。乞蒙随放，伏待鈇锧。"上优诏不许。
二十四年，服阕，转中书令、太子詹事，出为南兖州刺史。善政俱肃，威惠并行。广陵旧有高楼，湛之更修整之，南望钟山。城北有陂泽，水物丰盛，湛之更起风亭、月观，吹台、琴室，果竹繁茂，花药成行。招集文士，尽游玩之适。时有沙门释惠休善属文，湛之与之甚厚。孝武命使还俗。本姓汤，位至扬州从事史。二十六年，湛之入为丹阳尹、领太子詹事。二十七年，魏太武帝至瓜步，湛之与皇太子分守石头。二十八年，鲁爽兄弟率部曲来奔，爽等轨子也，湛之以为庙算特所奖纳，不敢苟申私怨，乞屏田里，不许。转尚书仆射，领护军将军。时尚书令何尚之以湛之国戚，任遇隆重，欲以朝政推之。湛之以令事无不总，又以事归尚之。互相推委，御史中丞袁淑奏并免官。诏乃使湛之与尚之并受辞诉。尚之虽为令，而以朝事悉归湛之。