三年，代丙吉为御史大夫。五凤中匈奴大乱，议者多曰匈奴为害日久，可因其坏乱举兵灭之。诏遣中朝大司马车骑将军韩增、诸吏富平侯张延寿、光禄勋杨惲、太仆戴长乐问望之计策，望之对曰：“《春秋》恶士匄帅师侵齐，闻齐侯卒，引师而还，君子大其不伐丧，以为恩足以服孝子，谊足以动诸侯。前单于慕化乡善称弟，遣使请求和亲，海内欣然，夷狄莫不闻。未终奉约，不幸为贼臣所杀，今而伐之，是乘乱而幸灾也，彼必奔走远遁。不以义动兵，恐劳而无功。宜遣使者吊问，辅其微弱，救其灾患，四夷闻之，咸贵中国之仁义。如遂蒙恩得复其位，必称臣服从，此德之盛也。”上从其议，后竟遣兵护辅呼韩邪单于定其国。
是时，大司农、中丞耿寿昌奏设常平仓，上善之，望之非寿昌。丞相丙吉年老，上重焉，望之又奏言：“百姓或乏困，盗贼未止，二千石多材下不任职。三公非其人，则三光为之不明，今首岁日月少光，咎在臣等。”上以望之意轻丞相，乃下侍中建章卫尉金安上、光禄勋杨惲、御史中丞王忠，并诘问望之。望之免冠置对，天子由是不说。
后丞相司直緐延寿奏：“侍中谒者良使承制诏望之，望之再拜已。良与望之言，望之不起，因故下手，而谓御史曰‘良礼不备’。故事丞相病，明日御史大夫辄问病；朝奏事会庭中，差居丞相后，丞相谢，大夫少进，揖。今丞相数病，望之不问病；会庭中，与丞相钧礼。时议事不合意，望之曰：‘侯年宁能父我邪！’知御史有令不得擅使，望之多使守史自给车马，之杜陵护视家事。少史冠法冠，为妻先引，又使卖买，私所附益凡十万三千。案望之大臣，通经术，居九卿之右，本朝所仰，至不奉法自修，踞慢不逊攘，受所监臧二百五十以上，请逮捕系治。”上于是策望之曰：“有司奏君责使者礼，遇丞相亡礼，廉声不闻，敖慢不逊，亡以扶政，帅先百僚。君不深思，陷于兹秽，朕不忍致君于理，使光禄勋惲策诏，左迁君为太子太傅，授印。其上故印使者，便道之官。君其秉道明孝，正直是与，帅意亡愆，靡有后言。”
望之既左迁，而黄霸代为御史大夫。数月间，丙吉薨，霸为丞相。霸薨，于定国复代焉。望之遂见废，不得相。为太傅，以《论语》、《礼服》授皇太子。
初，匈奴呼韩邪单于来朝，诏公卿议其仪，丞相霸、御史大夫定国议曰：“圣王之制，施德行礼，先京师而后诸夏，先诸夏而后夷狄。《诗》云：‘率礼不越，遂视既发；相士烈烈，海外有截。’陛下圣德充塞天地，光被四表，匈奴单于乡风慕化，奉珍朝贺，自古未之有也。其礼仪宜如诸侯王，位次在下。”望之以为：“单于非正朔所加，故称敌国，宜待以不臣之礼，位在诸侯王上。外夷稽首称藩，中国让而不臣，此则羁縻之谊，谦亨之福也。《书》曰‘戎狄荒服’，言其来服，荒忽亡常。如使匈奴后嗣卒有鸟窜鼠伏，阙如朝享，不为畔臣。信让行乎蛮貉，福祚流于亡穷，万世之长策也。”天子采之，下诏曰：“盖闻五帝、三王教化所不施，不及以政。今匈奴单于称北藩，朝正朔，朕之不逮，德不能弘覆。其以客礼待之，令单于位在诸侯王上，赞谒称臣而不名。”
及宣帝寝疾，选大臣可属者，引外属侍中乐陵侯史高、太子太傅望之、少傅周堪至禁中，拜高为大司马车骑将军，望之为前将军光禄勋，堪为光禄大夫，皆受遗诏辅政，领尚书事。宣帝崩，太子袭尊号，是为孝元帝。望之、堪本以师傅见尊重，上即位，数宴见，言治乱，陈王事。望之选白宗室明经达学散骑、谏大夫刘更生给事中，与侍中金敞并拾遗左右。四人同心谋议，劝道上以古制，多所欲匡正，上甚乡纳之。
初，宣帝不甚从儒术，任用法律，而中书宦官用事。中书令弘恭、石显久典枢机，明习文法，亦与车骑将军高为表里，论议常独持故事，不从望之等。恭、显又时倾仄见诎。望之以为中书政本，宜以贤明之选，自武帝游宴后庭，故用宦者，非国旧制，又违古不近刑人之义，白欲更置士人，由是大与高、恭、显忤。上初即位，谦让重改作，议久不定，出刘更生为宗正。
望之、堪数荐名儒茂才以备谏官。会稽郑朋阴欲附望之，上疏言车骑将军高遣客为奸利郡国，及言许、史子弟罪过。章视周堪，堪白令朋待诏金马门。朋奏记望之曰：“将军体周、召之德，秉公绰之质，有卞庄之威。至乎耳顺之年，履折冲之位，号至将军，诚士之高致也。窟穴黎庶莫不欢喜，咸曰将军其人也。今将军规橅云若管、晏而休，遂行日仄至周、召乃留乎？若管、晏而休，则下走将归延陵之皋，修农圃之畴，畜鸡种黍，俟见二子，没齿而已矣。如将军昭然度行，积思塞邪枉之险蹊，宣中庸之常政，兴周、召之遗业，亲日仄之兼听，则下走其庶几愿竭区区，底厉锋锷，奉万分之一。”望之见纳朋，接待以意。朋数称述望之，短车骑将军，言许、史过失。
后朋行倾邪，望之绝不与通。朋与大司农史李官俱待诏，堪独白宫为黄门郎。朋，楚士，怨恨，更求入许、史，推所言许、史事曰：“皆周堪、刘更生教我，我关东人，何以知此？”于是侍中许章白见朋。朋出扬言曰：“我见，言前将军小过五，大罪一。中书令在旁，知我言状。”望之闻之，以问弘恭、石显。显、恭恐望之自讼，下于它吏，即挟朋及待诏华龙。龙者，宣帝时与张子蟜等待诏，以行污秽不进，欲入堪等，堪等不纳，故与朋相结。恭、显令二人告望之等谋欲罢车骑将军疏退许、史状，候望之出休日，令朋、龙上之。事下弘恭问状，望之对曰：“外戚在位多奢淫，欲以匡正国家，非为邪也。”恭、显奏：“望之、堪、更生朋党相称举，数谮诉大臣，毁离亲戚，欲以专擅权势，为臣不忠，诬上不道，请谒者召致廷尉。”时上初即位，不省“谒者召致廷尉”为下狱也。可其奏。后上召堪、更生，曰系狱。上大惊曰：“非但廷尉问邪？”以责恭、显，皆叩头谢。上曰：“令出视事。”恭、显因使高言：“上新即位，未以德化闻于天下，而先验师傅，既下九卿大夫狱，宜因决免。”于是制诏丞相御史：“前将军望之傅朕八年，亡它罪过，今事久远，识忘难明。其赦望之罪，收前将军光禄勋印绶，及堪、更生皆免为庶人。”而朋为黄门郎。
后数月，制诏御史：“国之将兴，尊师而重傅。故前将军望之傅朕八年，道以经术，厥功茂焉。其赐望之爵关内侯，食邑六百户，给事中，朝朔望，坐次将军”天子方倚欲以为丞相，会望之子散骑中郎伋上书讼望之前事，事下有司，复奏：“望之前所坐明白，无谮诉者，而教子上书，称引亡辜之《诗》，失大臣体，不敬，请逮捕。”弘恭、石显等知望之素高节，不诎辱，建白：“望之前为将军辅政，欲排退许、史，专权擅朝。幸得不坐，复赐爵邑，与闻政事，不悔过服罪，深怀怨望，教子上书，归非于上，自以托师傅，怀终不坐。非颇诎望之于牢狱，塞其怏怏心，则圣朝亡以施恩厚。”上曰：“萧太傅素刚，安肯就吏？”显等曰：“人命至重，望之所坐，语言薄罪，必亡所忧。”上乃可其奏。