蒋政权败退孤岛后，惊魂未定，前路未卜，正是在叶公超手里，签订了《中美共同防御条约》，这对蒋政权是一个生死攸关的保证，为台湾三十年的安定和日后的经济繁荣打下了基础。叶公超也因此成为蒋介石时期任期最长的“外交部长”。任“大使”期间，他极受美国总统艾森豪威尔的器重，也成为麦克阿瑟、杜勒斯、肯尼迪的座上客，其英语受到眼高于顶的英国首相丘吉尔的赏识。他应邀发表演讲，“不看讲稿，出口成章，手挥目送，亦庄亦谐。有时声若洪钟，排山倒海；忽然把声音降低到如怨如慕，窃窃私语，全场听众屏息静听”。演讲完毕，三四百位听众起立鼓掌，数分钟不息。在场的多位名教授都赞许他的英语是“王者英语”，声调和姿态简直可以和英国首相丘吉尔相媲美。恰在此时，在北京有人问留英多年的朱光潜：“中国谁的英文最好?”朱想了想，说：“可能还是叶公超。”
叶公超的英文确乎已到了令人连嫉妒之心都没有的地步。他以他一流的“王者英语”与世界各国政要觥筹交错，可谓意气风发。他熟读《孙子兵法》，并将其灵活自如地运用在外交上，十分有效。
不管叶公超的外交才能如何，还是改变不了台湾“外交部”逐步沦为“断交部”，以致像“王小二过年”一样的凄惨局面。蒙古于1946年元旦脱离中国宣布独立。蒋介石对此一直反对。对中国百余年的历史屈辱，他更是刻骨铭心。1961年联合国大会讨论蒙古入会案时，叶公超为扩大台湾的国际生存空间，勉强同意蒙古入会。蒋知道后勃然大怒，质问：“是做‘美国大使’还是做‘中华民国大使’?”嗣后，蒋介石一个急电，把叶公超召回“述职”。叶公超不知内幕，连办公桌都没有整理，只带了几件衬衫、领带，提起皮包就飞回来了。他原指望三日即归。谁知“总统”将其召回，却不召见。安理会复会日期转眼将至，他急于返美。但到第三天他才被冷淡地告知：另有安排，不必再回美国了。他做梦也没有想到此行就是他职业生涯的终点。这完全出乎他的意料，致使他在下榻的宾馆绕室彷徨整整三天三夜。自此他被禁止出境长达16年。
被逐出政坛后，叶公超的生活日趋沉闷。1962年春天，他应英千里、梁实秋等的邀请，到台大、师大兼任教授。他在台大外语系开的“现代英美诗选”是选修课，时间安排得并不好，可是第一天听课者就将教室内外挤得水泄不通，场面之热烈前所未有。3月13日下午，还没到两点钟，教室就已爆满，听课的很多是旁系的学生，他们特来一睹他的风采。在学生的翘首企盼中，他准时出现，依然是风度翩翩，如同出席记者招待会或演讲会。他没带任何讲稿，天马行空，首先问大家中国诗的起源，然后一直讲到英美现代诗，讲到狄金森、艾略特等代表人物，如数家珍。
自离开联大，20多年过去了，此番重上讲台，叶公超也不由得感慨：“还是文人最自由啊，早知今日，何必当初!”然而毕竟文人最天真。有人问：“假如生命可以重新来过，你打算如何?”叶公超不假思索地答：“我再也不做同样的事!”
新闻媒体报道叶公超任教的消息，引起了社会的普遍关注。当局不高兴，结果他只教了一个学期，就被迫永远离开了讲台。昔日的风流倜傥也一扫而空，老态毕显。
在最后的20年，他虽有“行政院政务委员”等虚衔，实则无“政”可“务”。他自嘲说：“身边有特务，政事不准问。”被困之中，他的后20年以练书法和绘画打发时光。他对好友梁实秋说：“好怒而写竹，喜则绘兰，闲来狩猎，感而赋诗。”
他喜欢画竹，所画雪竹尤富“不胜故国山河之感”。友人向他求画，他在画上的题字是：“未出土时先有节，到凌云处总无心。”此时，叶公超已不再“以骂会友”，而是“以画会友”，他和张大干、台静农都是好友。
叶公超的书画作品曾两度在香港展出，一时轰动香江，可惜两度他都未能躬逢其盛。他晚年时，书房中挂的是他指定何怀硕画的：“斜阳外，寒鸦数点，流水绕孤村。”
蒋介石辞世后，叶公超的日子稍显宽松，还被继任的蒋经国聘为“总统府”资政。但他依旧被困在孤岛上，不准去美国与亲人团聚。“我会被困死在这个岛上。”他浩叹。
直到1977年12月，有人向蒋经国建议让叶公超出去走走，蒋当即表示：“只要担保他按时返国，似无不可。”叶因此才有机会再次踏上那熟悉的土地。在最后的时光，他时常在医院走廊上散步，愁眉苦脸，动辄要哭。他指着家中的一幅《烟波江上一翁》说：“这老头就是我。”
1981年中秋之际，叶公超异常想念家人，但他们都远在美国。中秋夜，他兴致勃勃地挥毫书写苏东坡的《赤壁赋》。11月17日，收到宋美龄从美国寄来的黄褐色纯毛背心和消化饼干后，他整日沉默不语。次日晚，叶公超在病榻上对记者说：“我希望能再活个三年五载，整理一些少年时写的作品。”不到两天，他就走了。临终之际，身边没有一个亲人。