宋金刚之陷澮州也，兵锋甚锐。高祖以王行本尚据蒲州，吕崇茂反于夏县，晋、澮二州相继陷没，关中震骇，乃手敕曰："贼势如此，难与争锋，宜弃河东之地，谨守关西而已。"太宗上表曰："太原王业所基，国之根本，河东殷实，京邑所资。若举而弃之，臣窃愤恨。愿假精兵三万，必能平殄武周，克复汾、晋。"高祖于是悉发关中兵以益之，又幸长春宫亲送太宗。二年十一月，太宗率众趣龙门关，履冰而渡之，进屯柏壁，与贼将宋金刚相持。寻而永安王孝基败于夏县，于筠、独孤怀恩、唐俭并为贼将寻相、尉迟敬德所执，将还澮州。太宗遣殷开山、秦叔宝邀之于美良川，大破之，相等仅以身免，悉虏其众，复归柏壁。于是诸将咸请战，太宗曰："金刚悬军千里，深入吾地，精兵骁将，皆在于此。武周据太原，专倚金刚以为捍。士卒虽众，内实空虚，意在速战。我坚营蓄锐以挫其锋，粮尽计穷，自当遁走。"
三年二月，金刚竟以众馁而遁，太宗追之至介州。金刚列阵，南北七里，以拒官军。太宗遣总管李世勣、程咬金、秦叔宝当其北，翟长孙、秦武通当其南。诸军战小却，为贼所乘。太宗率精骑击之，冲其阵后，贼众大败，追奔数十里。敬德、相率众八千来降，还令敬德督之，与军营相参。屈突通惧其为变，骤以为请。太宗曰："昔萧王推赤心置人腹中，并能毕命，今委任敬德，又何疑也。"于是刘武周奔于突厥，并、汾悉复旧地。诏就军加拜益州道行台尚书令。
七月，总率诸军攻王世充于洛邑，师次谷州。世充率精兵三万阵于慈涧，太宗以轻骑挑之。时众寡不敌，陷于重围，左右咸惧。太宗命左右先归，独留后殿。世充骁将单雄信数百骑夹道来逼，交抢竞进，太宗几为所败。太宗左右射之，无不应弦而倒，获其大将燕颀。世充乃拔慈涧之镇归于东都。太宗遣行军总管史万宝自宜阳南据龙门，刘德威自太行东围河内，王君廓自洛口断贼粮道。又遣黄君汉夜从孝水河中下舟师袭回洛城，克之。黄河已南，莫不响应，城堡相次来降。大军进屯邙山。九月，太宗以五百骑先观战地，卒与世充万余人相遇，会战，复破之，斩首三千余级，获大将陈智略，世充仅以身免。其所署筠州总管杨庆遣使请降，遣李世勣率师出轘辕道安抚其众。荥、汴、洧、豫九州相继来降。世充遂求救于窦建德。
四年二月，又进屯青城宫。营垒未立，世充众二万自方诸门临谷水而阵。太宗以精骑阵于北邙山，令屈突通率步卒五千渡水以击之，因诫通曰："待兵交即放烟，吾当率骑军南下。"兵才接，太宗以骑冲之，挺身先进，与通表里相应。贼众殊死战，散而复合者数焉。自辰及午，贼众始退。纵兵乘之，俘斩八千人，于是进营城下。世充不敢复出，但婴城自守，以待建德之援。太宗遣诸军掘堑，匝布长围以守之。吴王杜伏威遣其将陈正通、徐召宗率精兵二千来会于军所。伪郑州司马沈悦以武牢降，将军王君廓应之，擒其伪荆王王行本。会窦建德以兵十余万来援世充，至于酸枣。萧瑀、屈突通、封德彝皆以腹背受敌，恐非万全，请退师谷州以观之。太宗曰："世充粮尽，内外离心，我当不劳攻击，坐收其敝。建德新破孟海公，将骄卒惰，吾当进据武牢，扼其襟要。贼若冒险与我争锋，破之必矣。如其不战，旬日间世充当自溃。若不速进，贼入武牢，诸城新附，必不能守。二贼并力，将若之何？"通又请解围就险以候其变，太宗不许。于是留通辅齐王元吉以围世充，亲率步骑三千五百人趣武牢。
建德自荥阳西上，筑垒于板渚，太宗屯武牢，相持二十余日。谍者曰："建德伺官军刍尽，候牧马于河北，因将袭武牢。"太宗知其谋，遂牧马河北以诱之。诘朝，建德果悉众而至，陈兵氾水，世充将郭士衡阵于其南，绵互数里，鼓噪，诸将大惧。太宗将数骑升高丘以望之，谓诸将曰："贼起山东，未见大敌。今度险而嚣，是无政令；逼城而阵，有轻我心。我按兵不出，彼乃气衰，阵久卒饥，必将自退，追而击之，无往不克。吾与公等约，必以午时后破之。"建德列阵，自辰至午，兵士饥倦，皆坐列，又争饮水，逡巡敛退。太宗曰："可击矣！"亲率轻骑追而诱之，众继至。建德回师而阵，未及整列，太宗先登击之，所向皆靡。俄而众军合战，嚣尘四起。太宗率史大奈、程咬金、秦叔宝、宇文歆等挥幡而入，直突出其阵后，张我旗帜。贼顾见之，大溃。追奔三十里，斩首三千余级，虏其众五万，生擒建德于阵。太宗数之曰："我以干戈问罪，本在王世充，得失存亡，不预汝事，何故越境，犯我兵锋？"建德股栗而言曰："今若不来，恐劳远取。"高祖闻而大悦，手诏曰；"隋氏分崩，崤函隔绝。两雄合势，一朝清荡。兵既克捷，更无死伤。无愧为臣，不忧其父，并汝功也。"乃将建德至东都城下。世充惧，率其官属二千余人诣军门请降，山东悉平。太宗入据宫城，令萧瑀、窦轨等封守府库，一无所取，令记室房玄龄收隋图籍。于是诛其同恶段达等五十余人，枉被囚禁者悉释之，非罪诛戮者祭而诔之。大飨将士，班赐有差。高祖令尚书左仆射裴寂劳于军中。