鎮上流言蜚語滿天飛，楊乃武此時正準備舉人考試，妻子又懷孕，也沒有與外界多接觸，兩耳不聞窗外事，一心只讀聖賢書，但最終還是聽到風言風語，為了避嫌楊乃武催收葛品連欠的房租，並漲價到一千文，葛品連到母親那裡借到房租錢交給楊乃武，夫妻倆也找到離豆腐店比較近的單間，自此搬出楊家，這段緋聞才慢慢消退，離開楊家失去保護傘，原來總有地痞無賴去騷擾小白菜，皮膚嫩白，美貌如花的小白菜是倉前鎮有名美人，就是地位卑賤才會引發好事之徒，幸好楊乃武是正義之士，多次出面最後無人上門找事。
離開楊家後，就被知縣劉錫彤兒子盯上了，他和何春芳經常探討小白菜，沒想到何春芳早就看中小白菜，一來二去。有一天劉大公子背著何春芳先下手，他讓傭婦哄騙小白菜做針線活，到了地方四下無人，劉大公子強姦小白菜，這事後來傭婦憋不住告訴好朋友，好朋友竟然是何春芳的姘頭，又把這事告訴何春芳，這一下子何春芳不幹了，多次找小白菜用這事要挾她，隨了自己。小白菜死活不肯，有一次被突然回來葛品連聽到一清二楚，從此小白菜再也沒有好日子過了，由於夫妻倆惹不起知縣劉家，葛品連就拿小白菜出氣，動不動拳打腳踢，這日子不知何時是個頭？