初，伪燕王鲜卑慕容德僣号于青州，德死，兄子超袭位，前后数为边患。五年二月，大掠淮北，执阳平太守刘千载、济南太守赵元，驱略千余家。三月，公抗表北讨，以丹阳尹孟昶监中军留府事。四月，舟师发京都，溯淮入泗。五月，至下邳，留船舰辎重，步军进琅邪；所过皆筑城留守。鲜卑梁父、莒城二戍并奔走。慕容超闻王师将至，其大将公孙五楼说超："宜断据大岘，刈除粟苗，坚壁清野以待之。彼侨军无资，求战不得，旬月之间，折棰以笞之耳。"超不从，曰："彼远来疲劳，势不能久；但当引令过岘，我以铁骑践之，不忧不破也。岂有预芟苗稼，先自蹙弱邪！"初，公将行，议者以为贼闻大军远出，必不敢战。若不断大岘，当坚守广固，刈粟清野，以绝三军之资，非唯难以有功，将不能自反。公曰："我揣之熟矣。鲜卑贪，不及远计，进利克获，退惜粟苗。谓我孤军远入，不能持久，不过进据临朐，退守广固。我一得入岘，则人无退心，驱必死之众，向怀贰之虏，何忧不克！彼不能清野固守，为诸君保之。"公既入岘，举手指天曰："吾事济矣！"
六月，慕容超遣五楼及广宁王贺赖卢先据临朐城。既闻大军至，留羸老守广固，乃悉出。临朐有巨蔑水，去城四十里，超告五楼曰："急往据之，晋军得水，则难击也。"五楼驰进。龙骧将军孟龙符领骑居前，奔往争之，五楼乃退。众军步进，有车四千两，分车为两翼，方轨徐行，车悉张幔，御者执槊，又以轻骑为游军。军令严肃，行伍齐整。未及临朐数里，贼铁骑万余，前后交至。公命兖州刺史刘藩、弟并州刺史道怜、谘议参军刘敬宣、陶延寿、参军刘怀玉、慎仲道、索邈等，齐力击之。日向昃，公遣谘议参军檀韶直趋临朐。韶率建威将军向弥、参军胡藩驰往，既日陷城，斩其牙旗，悉虏超辎重。超闻临朐已拔，引众走。公亲鼓之，贼乃大破。超遁还广固。获超马、伪辇、玉玺、豹尾等，送于京师；斩其大将段晖等十余人，其余斩获千计。明日，大军进广固，既屠大城。超退保小城。于是设长围守之，围高三丈，外穿三重堑。停江、淮转输，馆谷于齐土。抚纳降附，华戎欢悦；援才授爵，因而任之。七月，诏加公北青、冀二州刺史。超大将垣遵、遵弟苗并率众归顺。公方治攻具，城上人曰："汝不得张纲，何能为也。"纲者，超伪尚书郎，其人有巧思。会超遣纲称藩于姚兴，乞师请救。兴伪许之，而实惮公，不敢遣。纲从长安还，泰山太守申宣执送之。乃升纲于楼上，以示城内，城内莫不失色。于是使纲大治攻具。超求救不获，纲反见虏，转忧惧，乃请称藩，求割大岘为界，献马千匹。不听，围之转急。河北居民荷戈负粮至者，日以千数。
录事参军刘穆之，有经略才具，公以为谋主，动止必谘焉。时姚兴遣使告公云："慕容见与邻好，又以穷告急，今当遣铁骑十万，径据洛阳。晋军若不退者，便当遣铁骑长驱而进。"公呼兴使答曰："语汝姚兴，我定燕之后，息甲三年，当平关、洛。今能自送，便可速来！"穆之闻有羌使，驰入，而公发遣已去。以兴所言并答，具语穆之。穆之尤公曰："常日事无大小，必赐与谋之。此宜善详之，云何卒尔便答？公所答兴言，未能威敌，正足怒彼耳。若燕未可拔，羌救奄至，不审何以待之？"公笑曰："此是兵机，非卿所解，故不语耳。夫兵贵神速，彼若审能遣救，必畏我知，宁容先遣信命。此是其见我伐燕，内已怀惧，自张之辞耳。"九月，进公太尉、中书监，固让。伪徐州刺史段宏先奔索虏，十月，自河北归顺。
张纲治攻具成，设诸奇巧，飞楼木幔之属，莫不毕备。城上火石弓矢，无所用之。六年二月丁亥，屠广固。超逾城走，征虏贼曹乔胥获之，杀其亡命以下，纳口万余，马二千匹。送超京师，斩于建康市。
公之北伐也，徐道覆仍有窥窬之志，劝卢循乘虚而出，循不从。道覆乃至番禺说循曰："本住岭外，岂以理极于此，正以刘公难与为敌故也。今方顿兵坚城之下，未有旋日。以此思归死士，掩袭何、刘之徒，如反掌耳。不乘此机而保一日之安，若平齐之后，小息甲养众，不过一二年间，必玺书征君。若刘公自率众至豫章，遣锐师过岭，虽复将军神武，恐必不能当也。今日之机，万不可失。既克都邑，倾其根本。刘公虽还，无能为也。"循从之，乃率众过岭。是月，寇南康、庐陵、豫章，诸郡守皆委任奔走。于时平齐问未至，既驰使征公。公之初克齐也，欲停镇下邳，清荡河、洛，既而被征使至，即日班师。