李延一行从庆远出发，不过十日就到了桂林。殷正茂看他家眷众多，行李繁重，便给了老大的面子，派一名裨将率五百兵士护送。到了桂林之后，那位裨将带了人马回去复命，留下一名小校率三十名兵士，吩咐他们一直把李延护送到广州。从桂林到广州，有两条路可走：一是南下南宁，再从那里到广东地面的廉州，从廉州乘海船回到广州。这条路近，但风险甚大，近年来海盗猖獗，杀人越货的事屡有发生，李延不敢冒这个险。另一条路是由桂林往东取道韶州到广州。这条路虽是通连桂粤两省的官道，但穿行于崇山峻岭，路面也不见得十
分安全。李延与两个师爷商量斟酌一番，决定从桂林到衡州，再从衡州过郴州抵韶州，这条路虽然要绕道几百里地，但沿途州县相连，人口密集，走起来比较放心。主意既定，李延也无心在桂林盘桓，只稍事休整了三日，让三姨太回去和家里人团聚一回，便又匆匆上路。一路上轿马浩荡，前有军士开路，后有军士压阵。虽没有了两广总督的威严仪仗，这威风却依然了得！因此常引来不少行人驻足观看，啧啧连声称叹。
不知不觉又过了十来天，一行人马平安抵达衡州。衡州知府王东升亲自出城迎接，并安排李延一行住进驿站。因为驿站是官家旅店，专为接待升官复任公行办差的过路官员，只要住进来，吃喝拉撒睡一应开销甚至各种应酬费用都由驿站包下，临走时还会奉送一笔礼金。因此，住驿站便成了官员的特权。但是手中如果没有兵部发给的勘合，就没有资格住进驿站。李延手上本有一本勘合，但随着职务的撤消，这本勘合也就自动失效。李延与王东升并无私交，见他如此善待，心中自是感激不尽，免职上路后的愁苦心情也暂时得到舒展。在晚间的接风宴席上，听王东升介绍府城近前的南岳衡山，顿时动了游山的兴致。第二天一早，留下管家李忠照顾家眷，自己带了两个师爷，乘三乘暖轿，拣十名军士护卫，为了不致招摇，让军士们也都换上了便服，一路朝衡山迤逦而来。
却说盘桓于湘中大地的南岳衡山，逶迤八百余里，七十二峰峰峰皆秀，其主峰祝融峰高耸入云。相传唐尧虞舜来此祭祀社稷，巡疆狩猎。大禹曾在此杀白马祭告天地，得“金简玉书”，立治水丰碑。就凭这些记载，南岳的名声就响彻寰宇。加之山上古木参天，幽径重重；白云飞瀑，宛如仙界。游人到此，莫不心旷神怡，有超凡拔俗之想。
李延一行来到山下南岳镇已近午时，在镇子里参拜了南岳大庙，用过午膳，便开始登山。斯时节令已过了夏至好几天，湘南大地骄阳似火，热浪滚滚。李延坐在轿子里，时有凉爽的山风吹来，倒并不感到炎热。只是苦了那四个轿，空手走在陡峭的石板路上尚且吃力，何况肩上还压了一根沉重的轿杠。走上山路不过片刻工夫，一个个身上便没有一寸干纱。李延上山心切，掀开轿帘催促：“你们快点，早点上山，我有大把的赏钱。”有钱能使鬼推磨这话不假，轿听说有赏钱，便把吃奶的力气都使上，扯号踩点子地登高疾行。不觉又两个时辰过去，衡山上已是日头偏西，强烈的阳光变得柔和起来，投射到松林间淡淡的云烟里，让人感到周遭是难以言喻的诗情画意。李延轿帘儿撩得开开的，贪婪地看着四围山色，一时陶醉得很。忽然，炸雷似的一声喊：“停下！”唬得他打一个激灵，差一点跌出轿外。
三乘轿子停了下来，头一个钻出轿子的是董师爷，他见拦在李延轿子前头的是一个穿着锦衣卫军服的黑靴校官，便凑上前来，用折扇指着校官的鼻头问道：“你这厮，何事拦路喧哗？”
董师爷忘了自己眼下的布衣身分，仍拿出两广总督府上师爷的架式跟人说话。那校官后退一步，把董师爷周身上下打量一番：只见他身穿一件象牙色的锦囊葛直裰，头上戴了一顶染青鱼冻布质地的逍遥巾，脚上蹬了一双黄草心鞋，内中还塞了一双玄色丝袜。一看这副打扮，就知是个有钱的主。那校官又勾头看看头乘轿子里的李延，也是脑满肠肥，一身光鲜。心想不过是个白衣财主，平日在乡里横行惯了，如今连我兵爷也不放在眼里。这念头一闪，校官就恶向胆边生，抢步上前劈手夺过董师爷手中的那把价值二两银子的泥金折扇，三把两把撕得稀烂，扔在地上，还用脚踩了几下。