未几，孝宗崩，武宗嗣位，承诏请撤四方镇守中官非额设者。帝止撤均州齐元。大夏复议上应撤者二十四人，又奏减皇城、京城守视中官，皆不纳。顷之，列上传奉武臣当汰者六百八十三人，报可。大汉将军薛福敬等四十八人亦当夺官，福敬等故不入侍以激帝怒。帝遽命复之，而责兵部对状，欲加罪。中官宁瑾顿首曰：“此先帝遗命，陛下列之登极诏书，不宜罪。”帝意乃解。中官韦兴者，成化末得罪久废，至是夤缘守均州。言官交谏，大夏等再三争，皆不听。正德元年春，又言：“镇守中官，如江西董让、蓟州刘琅、陕西刘云、山东朱云贪残尤甚，乞按治。”帝不悦。大夏自知言不见用，数上章乞骸骨。其年五月，诏加太子太保，赐敕驰驿归，给廪隶如制。给事中王翊、张襘请留之，吏部亦请如翊、襘言，不报。
大夏忠诚恳笃，遇知孝宗，忘身徇国，于权幸多所裁抑。尝请严核勇士，为刘瑾所恶。刘宇亦憾大夏，遂与焦芳谮于瑾曰：“籍大夏家，可当边费十二。”三年九月，假田州岑猛事，逮系诏狱。瑾欲坐以激变律死，都御史屠滽持不可，瑾谩骂曰：“即不死，可无戍耶？”李东阳为婉解，且瑾诇大夏家实贫，乃坐戍极边。初拟广西，芳曰：“是送若归也”，遂改肃州。大夏年已七十三，布衣徒步过大明门下，叩首而去。观者叹息泣下，父老携筐送食，所至为罢市、焚香祝刘尚书生还。比至戍所，诸司惮瑾，绝馈问，儒学生徒传食之。遇团操，辄荷戈就伍。所司固辞，大夏曰：“军，固当役也。”所携止一仆。或问何不挈子姓，曰：“吾宦时，不为子孙乞恩泽。今垂老得罪，忍令同死戍所耶？”大夏既遣戍，瑾犹摭他事罚米输塞上者再。
五年夏，赦归。瑾诛，复官，致仕。清军御史王相请复廪隶，录其子孙。中官用事者终嗛之，不许。大夏归，教子孙力田谋食。稍赢，散之故旧宗族。预自为圹志，曰：“无使人饰美，俾怀愧地下也。”十一年五月卒，年八十一。赠太保，谥忠宣。
大夏尝言：“居官以正己为先。不独当戒利，亦当远名。”又言：“人生盖棺论定，一日未死，即一日忧责未已。”其被逮也，方锄菜园中，入室携数百钱，跨小驴就道。赦归，有门下生为巡抚者，枉百里谒之。道遇扶犁者，问孰为尚书家，引之登堂，即大夏也。朝鲜使者在鸿胪寺馆遇大夏邑子张生，因问起居曰：“吾国闻刘东山名久矣。”安南使者入贡曰：“闻刘尚书戍边，今安否？”其为外国所重如此。
赞曰：王恕砥砺风节，马文升练达政体，刘大夏笃棐自将，皆具经国之远猷，蕴畜君之正志。绸缪庶务，数进谠言，迹其居心行己，磊落光明，刚方鲠亮，有古大臣节概。历事累朝，享有眉寿，朝野属望，名重远方。《诗》颂老成，《书》称黄发，三臣者近之矣。恕昧远名之戒，以作传见疏。而文升，大夏被遇孝宗之朝，明良相契，荃宰一心。迨至宦竖乘权，耆旧摈斥，进退之际所系讵不重哉！