王侯商却仍不放他走，拖拖拉拉讲了许多大道理，此举于天下有益云云，言下之意在拉裴绪入伙。裴绪受裴千寻影响，对这等冠冕堂皇的句子向来是敬谢不敏的，听得不耐烦，斥了几句王侯商的私心，不意料竟惹怒了他。
裴绪自负武功，奈何王侯商诡计多端，又擅长使毒蛊之物，一时逃脱不得，被他在腰上砍了一刀，拼死才逃出生天。
裴绪原是真心与王侯商结交，便是不相为谋，也能做个闲散朋友，哪料到竟落入如此境地，渐渐对江湖事心灰意冷了。彼时王侯商势盛，裴绪不欲正面为敌，又因着父亲的事对寒山派仍有些芥蒂，虽感念陆离的作为，亦不愿回寒山，径自往故居郢州去了。
也是这么多巧合之下，裴绪才道遇了浮舟。两人隐居在半山腰的寻常木屋里，过了那样一段悠闲美好的日子。
直到王侯商领着一帮江湖人围攻寒山派-