海陵召为户部尚书，拜参知政事。天德二年，丁母忧。起复参知政事，进拜尚书右丞。天德三年，广燕京城，营建宫室。浩与燕京留守刘筈、大名尹卢彦伦监护工作，命浩就拟差除。既而暑月，工役多疾疫。诏发燕京五百里内医者，使治疗，官给药物，全活多者与官，其次给赏，下者转运司举察以闻。
贞元元年，海陵定都燕京，改燕京为中都，改析津府为大兴府。浩进拜平章政事，赐金带玉带各一，赐宴于鱼藻池。浩请凡四方之民欲居中都者，给复十年，以实京城，从之。拜尚书右丞相兼侍中，封潞王，赐其子汝霖进士及第。未几，改封蜀王，进拜左丞相。正隆二年，改封鲁国公。表乞致仕。海陵曰：「人君不明，谏不行，言不听，则宰相求去。宰相老病不能任事则求去。卿于二者何居？」浩对曰：「臣羸病不堪任事，宰相非养病之地也，是以求去。」不许。
海陵欲伐宋，将幸汴，而汴京大内失火，于是使浩与敬嗣晖营建南京宫室。浩从容奏曰：「往岁营治中都，天下乐然趋之。今民力未复，而重劳之，恐不似前时之易成也。」不听。浩朝辞，海陵问用兵利害。浩不敢正谏，乃婉词以对，欲以微止海陵用兵，奏曰：「臣观天意，欲绝赵氏久矣。」海陵愕然曰：「何以知之？」对曰：「赵构无子，树立疏属，其势必生变，可不烦用兵而服之。」海陵虽喜其言，而不能从也。浩至汴，海陵时时使宦者梁珫来视工役，凡一殿之成，费累巨万。珫指曰：「某处不如法式。」辄撤之。浩不能抗而与之均礼。汴宫成，海陵自燕来迁居之。浩拜太傅、尚书令，进封秦国公。
海陵至汴，累月不视朝，日治兵南伐，部署诸将。浩欲奏事，不得见。会海陵遣周福兒至浩家，浩附奏曰：「诸将皆新进少年，恐误国事。宜求旧人练习兵者，以为千户谋克。」而海陵部署已定，恶闻其言，乃杖之。海陵自将发汴京，皇后、太子居守。浩留治尚书省事。
世宗即位于辽阳，扬州军变，海陵遇害。都督府使使杀太子光英于南京。浩遣户部员外郎完颜谋衍上贺表。明年二月，浩朝京师，入见。世宗谓曰：「朕思天位惟艰，夙夜惕惧，不遑宁处。卿国之元老，当戮力赞治，宜令后世称扬德政，毋失委注之意也。」俄拜太师、尚书令，封南阳郡王。世宗曰：「卿在正隆时为首相，不能匡救，恶得无罪。营建两宫，殚竭民力，汝亦尝谏，故天下不以咎汝，惟怨正隆。而卿在省十余年，练达政务，故复用卿为相，当自勉，毋负朕意。」浩顿首谢。居数日，世宗谓浩曰：「卿为尚书令，凡人材有可用者，当举用之。」浩举纥石烈志宁等，其后皆为名臣。
浩有疾，在告者久之。遣左司郎中高衎及浩侄汝弼宣谕。浩力疾入对，即诏入朝毋拜，许设座殿陛之东，若有咨谋，然后进对。或体中不佳，不必日至省中，大政可就第裁决。浩虽受诏，然每以退为请。三年夏，复申前请。乃除判东京留守。疾不能赴任，因请致仕。
初，近侍有欲罢科举者，上曰：「吾见太师议之。」浩入见，上曰：「自古帝王有不用文学者乎？」浩对曰：「有。」曰：「谁欤？」浩曰：「秦始皇。」上顾左右曰：「岂可使我为始皇乎！」事遂寝。
是岁，薨。上辍朝一日。诏左宣徽使赵兴祥率百官致奠，赙银千两、重彩五十端、绢五百匹。谥曰文康。明昌五年，配享世宗庙廷。泰和元年，图像衍庆宫。子汝为、汝霖、汝能、汝方、汝猷。
汝霖字仲泽，少聪慧好学，浩尝称之曰：「吾家千里驹也。」贞元二年，赐吕忠翰榜下进士第，特授左补阙，擢大兴县令，再迁礼部员外郎、翰林待制。大定八年，除刑部郎中，召见于香阁，谕之曰：「卿以待制除郎中，勿以为降。朕以刑部阙汉官，故以授卿。且卿入仕未久，姑试其能耳。如职事修举，当有升擢。尔父太师以户部尚书升诸相位，由崇德大夫躐迁金紫，卿所自见也。当既厥心，无忝乃父。」明年，授太子左谕德兼礼部郎中。
先是，知登闻检院王震改礼部郎中，世宗谕宰臣曰：「此除未允人望，礼官当选有学术士，如张汝霖者可也。」于是，命汝霖兼之而除震别职。擢刑部侍郎。以忧解，起复为太子詹事，迁太子少师兼御史中丞。世宗召谓曰：「卿尝言，监察御史所察州县官多因沽买以得名誉，良吏奉法不为表襮，必无所称。朕意亦然。卿今为台官，可革其弊。」寻改中都路都转运使、太子少师兼礼部尚书，俄转吏部，为御史大夫。
时将陵主簿高德温大收税户米，逮御史狱。汝霖具二法上。世宗责之曰：「朕以卿为公正，故登用之。德温有人在宫掖，故朕颇详其事。朕肯以宫掖之私挠法耶？不谓卿等顾徇如是。」汝霖跪谢。久之，上顾左谏议大夫杨伯仁曰：「台官不正如此。」伯仁奏曰：「罪疑惟轻，故具二法上请，在陛下裁断耳。且人材难得，与其材智而邪，不若用愚而正者。」上作色曰：「卿辈皆愚而不正者也。」未几，复坐失出大兴推官高公美罪，谪授棣州防御使。顷之，复为太子少师兼礼部尚书。拜参知政事，太子少师如故。是日，汝霖兄汝弼亦进拜尚书左丞，时人荣之。