解放军进驻桑植县城时，向胖子已率部撤出桑植外半县，回到了沙塔坪老家，其弟向先茂从此也跟随他到了一起。有一天傍晚，向胖子在老家大院内主持召开了一次团队以上干部军事会议。
“诸位，现在解放军已占领我桑植县城。”向胖子顿了顿，沉重地说道：“我们经樵子湾，凉水口退到了这沙塔坪。往后咱们怎么走，我的想法是朝四川靠拢，追随宋希濂司令去。等以后有机会了，再反攻湘西，你们看如何？”
团长向先树道：“师长高见，你说怎么办，我们都听你的。”
副师长张一陶道：“四川方面，现在情况不明，最好先派人去打听一下。”
参谋长黄世一道：“是啊，宋希濂那边，我们一直没联系上，咱们暂时可按兵不动，等把情况摸清楚了再去不迟。”
向胖子道：“也好，暂时住几天，先派人去打探一下，但我要强调，我们还是要进行准备，为了行军打仗不受拖累，我们要遣散所有非武装人员，凡是随军带的家属，一律要劝回去。”
会议之后，各团便开始贯彻师部指令，所有家眷和非武装人员，很快被遣散走了。这时，警卫营长向炳吾又到师部请示向胖子道：“我们押的岳德伟父子怎么处理？”
“干掉吧！”向胖子狠狠道：“押着这两个家伙是个拖累，放掉，他又会找我们复仇。只有干掉才不留后患。”
“还有周志武怎么办？”
“一起处理了，怎么还问？”
“是！”
向炳吾得令，随即带了一班护卫，将五花大绑的岳德伟、岳智文、周志武三人押至古罗界，一起枪杀后，将尸体丢进了天坑。
又过几日，到四川打探消息的探子，还只走到龙山就折回了头，探子告诉向胖子，重庆成都都已解放，去四川的计划成了泡影。向胖子这时还不甘心，又想朝慈利石门方向发展，与朱疤子的队伍相汇。他率部从苦竹坪经堰垭、淋溪河来到桑植边境的前村坪，又召开了一次军事会议。会上决定取道慈利、石门，联系慈利县保安团长朱疤子和石门县的独立旅长侯宗汉。会后，向胖子率部往慈利方向前进，刚到茅花界，就闻江垭方面有激烈的枪炮声传来。派人一打听，才知道慈利的朱疤子部已被解放军击散，朱疤子本人不久被抓获枪毙。向胖子不得不又把队伍带回到马合口的刘家寺一带。此时，他的部下已只剩下一千余人。不少人已开了小差，军心涣散。此时，向胖子也在思考着自己的退路，一天晚上，他在刘家寺又召集营以上干部开了一次会。会上，他假意试探道：“现在，我们的境况很不妙，山穷水尽啊！随时都有可能被解放军消灭的危险，鄙人原打算要救国救民，哪知反成祸国殃民，真是无脸见乡亲父老。既如此，我打算向解放军投诚，如果能得到宽大，当个老百姓咱还自在，我还可以继续搞我的生意，为人民做点事，将功补过。现在和大家商量一下，请诸位都谈谈自己的想法。”向胖子讲毕，众人鸦雀无声，只有柴火烧得呼呼响。稍顷，团长向星如起来激愤地道：“师长，你是知道的，民国二十四年那样狠，我在打马洞、凉风界一带爬壕坚持，也未咬卵。说死我是不愿意投诚的，以后哪个再当着我讲投诚这个话，我就屁眼上走他一火。虎不离山嘛！我们这样的大山区，有的是去处，还怕个卵！”作战科长朱时叶立刻附和道：“我也想好了，宁当异乡鬼，不做家乡囚。不成功，就成仁！”另外也有几人跟着如此附和，向胖子听毕正中下怀。他诡秘地笑道：“既然大家精诚团结，忧国忧民，鄙人更应理不容辞。”说罢，又强调了几条重要纪律，笼络民心的老调子才宣布散会。
当解放军追缴的风声越来越紧时，向胖子心内已十分紧张而又矛盾。他既想抓住队伍与解放军周旋，又知武力对抗实已无用。拖着一支队伍，自己反而会受累，。而投诚又怕得不到生命安全保证。正在苦思无计之时，一天下午，忽然有慈利县名士徐小桐来到了刘家寺。向胖子知道徐小桐多年前曾救过贺龙，是贺龙的大恩人。于是接待他道：“你此来是想劝我投降的吧！”
徐小桐道：“古人都说识时务者为俊杰，你怎么看不清形势呢，现在全国都解放了，你拖着队伍还能抵抗到何时？不如早早投诚还有个退路。”
“我就怕解放军不肯放过我这样的人，投降了也没个活路。”
“我是代表桑植县政府来劝你的，你怎么还不相信，政府会保证你投降后的生命安全的！”
“我不信，贺锦章当县长，我曾跟他联系过投诚一事，他说投诚欢迎，但我个人的生命保障他做不了主。”
“只要你答应投诚，我保证，我们都会帮你求情免死的。”徐小桐道。
“好吧，那我就再开会商议一下，你回去转告贺县长，就说我愿意投诚他们。”
其实，向胖子这时已另拿定金蝉脱壳的主意。当日夜里，他在朝阳山顶的庙中召集了几个师部主要头目开会，主要就是商量如何向解放军投诚的问题。会上决定，由副师长刘一陶和主任参谋王仕学代表去他县城联系投诚事宜。两人随即于凌晨前往县城，向胖子率师部转移至二亚山一带待命。此时，从大庸方向过来的剿匪部队在邱家界与向炳吾部队打了一仗，向部伤亡惨重，各匪首顿时惶惶不安。这时，前往县城接洽投降的人回来传信，要求暂二师再派人去办理具体投诚事宜。向胖子遂要参谋长张世一执笔，以他的名义向县长贺锦章和办事处主任何玉良写信，要求宽限数日前来办理具体投诚事宜。并令副官主任兼政工队长余贞去县城执行这一任务。余贞到县城后，贺锦章与何玉良满口答应了向的要求。第二天清早，余贞再返回二亚山，欲寻找向胖子汇报情况，不料向胖子只带了兄弟向先茂和两个警卫已溜走了。暂二师的队伍也由向先树、向星如、向炳吾带到潮水河一带去了。余贞与参谋长黄世一经过商量，遂将师部剩下的直属人员和特务连部分人员共60余人，携枪带去了县城投降。
从二亚山悄然脱溜的向胖子，其时并没有远逃，在他的心底，还在做着庙中求签有“百日之灾，需隐蔽躲藏消灾，以求东山再起”的幻梦。如何消灾呢？他决定潜身到柚子界隐藏一段时间，伺机再走慈利向境外出逃。
柚子界在凉水口乡境内，其地有他岳父一家居住。岳父姓张，已是七八十岁的老人，向胖子到来当晚，岳父一家人都感到很惊奇。
老人问向胖子：“你怎么到了这里了？”
向胖子答道：“我现在走投无路了，解放军在到处搜捕我，我想在你们这里隐藏一段时间，这里山大，便于隐藏。”
“我们这界上是很少人来，不过村里有十多户人家，只怕他们会发觉。”
“那麻烦你们帮我多注意些，我尽量不露面外出。”
“好，那你就在这住一段时间吧！”岳父大人于是收留了向胖子。向胖子将两个贴身警卫也打发走了，只和向先茂一块隐藏在此。
接连住了三个多月，柚子界一直风平浪静，此期间，向先树、向炳吾等人拖的队伍均已被剿灭，二向最后被迫缴械投降。向星如藏匿在大溪沟里，时而出来伤人，最终在一个岩洞中被击毙了。
转眼到了1950年夏季。一天，贺文慈正在乡公所办公，忽见一老头跛着腿走进了院子。“啊，赵兄，多年不见，你怎么到了这里？”贺文慈一眼认出了他是赵金辉。
“一言难尽哩！”赵金辉遂到他的办公室坐下，将他这些年的经历作了简短叙说。原来，自从狮子山一仗负伤腿跛后，赵金辉将队伍交给了他人，自己金盆洗手，不再拖队了。他隐居在柚子界一直到解放。
“你今日到此地一定有事吧？”贺文慈又问他。
“是啊，我是来给你报一个信的。”赵金辉道。
“啊，报什么信呀？”
“向胖子那家伙躲在柚子界。”
“是吗？你怎么发现的？”
“我这些年就隐居在柚子界的一个老表家里。前些天，那老表看到向胖子进了他岳父家，其岳父把他隐藏了起来。你们赶快去抓，一定能抓着。”
“好，我们马上去，谢谢你哟！赵兄，你还记得我。”
“不要谢，向胖子这家伙作恶太多，你们一定要抓住他。”
“放心吧，他跑不了！”贺文慈遂将情况告诉了解放军赵排长，两人商议，当即一起率30余解放军前往搜捕。