胡斐绕到一株大树之后，向外一张，只见六七十名衙役兵丁，手执弓箭刀枪、铁尺铁链，在凤宅外虚张声势的叫喊。他凝神一看，人群中并无凤家父子在内，心道："这凤人英惊动官府，明知拿我不住，却是要挡我一阵。"当下纵身上马，向荒僻处疾驰而去。

出得镇来，回头一望，只见凤宅的火焰越窜越高，同时当铺、酒楼、赌场各处也均冒上火头。看来凤人英决意将佛山镇上的基业尽数毁却，那是永远不再回头的了。胡斐心中恼恨，却也不禁佩服这人阴鸷狠辣，竟然不惜将数十年的经营付之一炬，心想："此人如此工于心计，定有逃遁避祸的妙策，我该当到何处找他为是？"一时立马佛山镇外，彷徨不定。

远远听得人声嘈杂，救火水龙在石板路上隆隆奔驰。胡斐心想："适才追那三个无赖，来去不到一个时辰。这凤人英家大业大，岂能在片时之间料理清楚？今晚若不回来分断，定有他心腹亲信前赴他藏身之处请示，我只守住路口便了。"他料想白日定然无人露面，于是在荒僻之处找一株大树，爬上树去闭目养伸，想到钟家四口被害的惨状，悲愤难平，心中反来覆去的起誓："若不杀那凤贼全家，我胡斐枉自生于天地之间。"

到得暮色苍茫，他走到大路之旁，伏在长草中守候，睁大了眼四处观望，几个时辰过去，竟是没点动静，直到天色大明，除了卖菜挑粪的乡农之外，无人进去佛山。胡斐正感气沮，忽听马蹄声响，两乘快马从镇上奔了出来，马上乘客穿着武官服色，却是京中御前侍卫的打扮。胡斐心中一动，记起凤一华曾道，他父亲因要陪伴侍卫大人，不能分身来见，这两名侍卫定与凤人英有所干连。他心念甫起，两骑马已掠过他伏身之所，忙捡起一块尖石子伸指一弹，波的一声轻响，一匹马的后腿早着。这石子正好打中那马后腿的关节之处，那马奔跑正速，突然后腿一曲，身子向后一坐，那腿登时断折。

马上乘客骑术甚精，这一下变起仓卒，他提身一跃，轻轻落在道旁，只见那马断了后腿，连声哀鸣，不由得皱起眉头，叫道："糟糕，糟糕。"胡斐离着他有七八丈远，（"见这侍卫头发微见灰白，"修订本为"只见另一名侍卫勒马回头，"）道："怎么啦？"那侍卫道："这畜牲忽然失蹄，折断了腿，只怕不中用啦。"胡斐听了他说话的声音，猛然想起，那人名叫何思豪，数年前在商家堡中，曾与他有过一面之缘。

另一个侍卫道："咱们回佛山去，另要一头牲口。"何思豪道："凤人英走得不知去向，佛山镇上乱成一团，没人理事，咱们还是到南海县要马吧。"说着拔出匕首，在马脑袋中一剑插进，免得它多受痛苦。那侍卫道："咱们合骑一匹马吧，慢慢到南海去。何大哥，你说那凤人英当真不回佛山了？"何思豪道："他毁家避祸，怎能回去？"那侍卫道："这次南来，不但白辛苦一趟，还害死了你一匹好马。"何思豪跨上马背，说道："也不定是白辛苦。福公子府中的天下掌门人大会，是何等盛事，他既是五虎门掌门，未必不到。"说着伸下在马臀上一拍。那马背上乘了两人，不能快跑，只迈步子走了。

胡斐听了"福公子府中的天下掌门人大会"这几个字，心里一喜，暗想："总算得了一点头绪。武林中各家各派的掌门人云集北京，那凤人英便算不去，多少也要在会中找到一点线索。但不知那福公子邀会各派掌门人是为了何事？"

于是回到大树底下，牵过马匹，纵骑向北，一路上留心凤人英和五虎门的踪迹，竟是瞧不出半点端倪，这一日过了五岭，已入湖南省境，只见沿路都是红土，较之岭南风物，斗然一变。胡斐纵马疾驰，过马家铺后，将至栖凤渡口，猛听得一阵迅捷异常的马蹄声响，让在道旁，耳畔呼的一响，那白马从身旁一窜而过，四蹄竟似不着地一般。马背上乘着一个紫衣女子，只因那马跑得太快，面貌没瞧清楚，但见她背影苗条，端坐在马背之上。

胡斐吃了一惊："这白马似是赵三哥的坐骑，怎么又来到中原？"他心中记挂赵半山，想要追上去问个明白，刚张口叫了声："喂！"那白马已奔得远了，垂柳影下，依稀见那紫衣女子回头望了一眼，那白马脚步不停，片刻之间，已奔得无影无踪。

胡斐好生奇怪，催马赶路，但那白马脚程如此迅速，纵然自己的坐骑再快一倍，纵然日夜不停奔驰，也决计赶她不上，催马追赶，也只是聊尽人事而已。第三日上到了衡阳，那衡阳是湘南重镇，离南岳衡山已不在远，古松夹道，白云绕山，令人胸襟为之一爽。胡斐刚入南门，突见一家饭铺廊下系着一匹白马，身长腿高，貌相神骏，正是途中所遇的那匹快马，胡斐少年时与赵半山缔交，对他的白马瞧得极是仔细，此时一见，宛如故物，不禁大喜，忙走到饭铺中，想找那紫衣女子，却是不见人影。

胡斐要待问那店伙，转念一想，张口询问一个不相识女子，大是不便，于是坐在门口，要了酒饭。少停送上酒菜，湖南人吃饭的筷子极长，碗儿极大，又是无菜不辣，每味皆浓，颇有豪迈之风，很配胡斐的性儿。他慢慢喝酒，望着那匹白马，寻思少待如何启齿和那紫衣女子说话，猛地想起："此人既乘赵三哥的白马，必和他有极深的渊源，何不将赵三哥所赠的红花放在桌上？她自会来寻我说话。"他眼睛望着白马，回到左手去取包袱，那知摸了个空，回过头一看，那包袱竟已不知去向。