作者漫游四方，喜闻异事，登临之顷，每就山僧野道、村老逸民，促坐清谈，询以所知，而于游侠迹事尤多向往，廿年尘迹，闻见殊多。本篇所纪白岳十四侠士，即昔年江南之旧闻也。本书结局虽在黄山，而诸侠事迹都散在江、浙一带。
这里先从浙江省金华府永康县一个姓虞的开始写起。金华府旧辖八县，如东阳、永康等县，多有县治而无城垣。这姓虞的，家住在离县街二十余里的河上村内，附近有三个大镇：一名西市口，一名百集，一名下大路。当地为前明显宦应氏宗族聚居之所，子裔繁昌，族人甚多，村民姓应的差不多要占十之七八，所以当地人都叫它作十里应。姓虞的却是前三代才从镇海迁来，地介西市口、百集二者之间，只有五六家同族。不过虞家也是江东望眷，诗书世裔，每家眷属人口都不在少，田产又多，加上附居的几十家佣仆佃户，无形中也自成了一个村落。
本书所纪，乃是虞家第二房子孙。家主名叫虞舜民，年已半百过去，世以耕读传家。