雲林有一個大家族，乃是王氏。這王氏家中，非常有錢，其祖上或是做官，或是做巨商，不僅金銀無數，還收藏有許多古董、名畫、珍寶等。
在這些名畫之中，有一幅美人圖，乃是中國傳統的工筆畫，畫中有幾個極為妖艷的美人，一個個或是斜倚欄杆，或是捕捉蝴蝶，或是相視而笑，看起來美極了。
這幅畫本來收藏在倉庫之中，後來，這家主人的兒子王韶，無意中發現了。王韶實在是太喜歡這幅畫，或者準確來說，他太喜歡畫上的美人了，雖然他才十六歲，但已經成熟了，也是個多情種。
發現這幅畫之後，王韶把畫掛在牆上，每天就盯著看，有時候還痴痴地說一些話，好像畫中美人活過來了一樣。後來，他還在畫上題寫了一首詩，大概意思就是說，這些美人很美，但是卻不能說話，即便春風也不能輕薄她們，無論怎麼吹，都吹不開她們身上的衣服。
寫了詩之後，王韶還留了個落款，乃是「二八王郎題贈美人」。
王韶的姐姐們看到後，無不偷偷笑話他痴情。後來，父親也看到了，他大概是擔心兒子太痴情，沒說啥，直接把畫取下來，又藏起來了。王韶不知道怎麼回事，也不敢問。
父親死後，王家有些落勢，家裡四分五裂，一些同族之人，也來偷家裡的寶貝賣掉，美人圖就這樣失蹤了。王韶又氣又惱，卻無可奈何。
為了謀生計，王韶不得不出去，有時候做私塾先生，有時候做帳房先生等等。
一日，王韶到洪都，幫當地大戶許老爺做事情。平日裡，王韶住在西邊房間，東邊房間是許老爺所住，那裡還通向內室，別人不能進去。
一天晚上，月色皎潔，王韶發現，院子裡的松樹下，好像有一位穿著紅衣服的女子，她靠在松樹上，還向自己招手。王韶走過去一看，是一位妙齡少女，大約十七八歲。王韶帶著她到自己的房間，聊聊天，說說話，頗有情義。
王韶問了好幾次，才知道這少女叫胭脂娘。說完名字後，胭脂娘要離開。王韶怎麼可能讓她就這樣走呢？他拉著她，你儂我儂，耳鬢廝磨……終於，兩人把持不住了，一夜風流，直到天快亮。
王韶推測，這應該是徐老爺的姬妾，可能在屋裡無聊，才會出來找自己聊天。恩愛之後，胭脂娘回去了。
第二天晚上，胭脂娘又來了，這一次她還帶了兩個女子，她們也都很妖嬈，很年輕，很誘人，一個叫絳花，一個叫雲碧。於是，又是一夜歡樂。
第三天王韶，絳花來了，她帶了和她一樣美的女子，叫粉憐，粉憐風韻過人，與其他三個女子不同。王韶自然不會拒絕，於是又是一夜快活。
於是，每天這四人都會找王韶，有時候是一個人，有時候是兩個人，有時候四個人都來。每天晚上，王韶都忙得不得了，他越來越發現，這四個美人很眼熟，但卻想不起來是誰。也許，他們之前見過面，但他想不起來了。
一日，王韶和胭脂娘風流之後，他問胭脂娘，以前是不是認識她。
胭脂娘笑了，說：「王郎，你真是忘了嗎？你以前還送過我珠玉呢，想不起來了嗎？」王韶聽了後，不知道怎麼回事，也沒多想。
時間久了，王韶發現了奇怪之處，這四個女子都是晚上來，天快亮就走。白天，王韶看不到她們。王韶白天也想看她們，但四個美人都說不行，還說不能讓別人看到。否則，就大事不好了。
王韶隱然覺得不對勁，他還找別人旁敲側問，得到的答案是，許老爺家沒有這四位美人。王韶開始懷疑這四人，但一直沒有問，他也不敢問，唯恐知道了自己接受不了的答案。
一天晚上，四個美人都來了。與之前不同，四個美人都一臉憂愁，粉憐甚至還哭了，淚痕未乾。王韶問她們怎麼了，出了什麼事。結果，這一問，四個美人都繃不住了，都在那裡哭個不停。
王韶看她們哭得傷心，一時沒忍住，也跟著哭了。於是乎，五個人啥也不說，就在那哭，半個時辰過去了，才慢慢停了。
四個美人說，她們寫了一首詩，想送給王韶。王韶很高興，讓她們一個個說。四個美人各自賦詩一首，意思也很明確，大抵都是說自己有心無力，所以遺憾之類。但具體什麼遺憾的事，她們沒說。
王韶聽完後，說：「各位娘子都有妙才，我聽了之後也很佩服。我也想和一首詩，奈何方寸大亂。不過，我剛才聽你們的詩，隱隱覺得，你們有遺憾，似乎要離開我了是不是？以後，我們還會再見面嗎？」
四個美人同時說：「能不能見，只能相見與不相見之間。」
王韶聽不懂，問她們什麼意思，她們也不說。當晚，幾個人也沒有像從前那樣歡樂，各自灑淚而別。
次日，許老爺對王韶說：「王公子，你來這裡許久了，白天幫我做事，我也沒好好招待你。今天我有時間，你也沒事，咱們來喝酒聊天。」
於是，在東邊房間，許老爺叫人弄了酒菜，招待王韶。王韶第一次到他的房間裡，頗有些拘謹，忽然，他看到了一幅畫，畫上面還有詩。這畫上有四位美人，居然就是胭脂娘、粉憐、雲碧和絳花！
這四個美人，或是臉頰緋紅，或是暗送秋波，或是痴痴地看著什麼，和王韶看到的四位美人神態完全一樣。而且這畫太好了，四位美人十分逼真，簡直是呼之欲出了。
這幅畫不是別的，正是王韶當年掛在牆壁上，每天都要痴痴看的美人圖。更神奇的是，畫上那首詩，就是他題寫的詩，落款還能看得見，乃是「二八王郎題贈美人」。
這一下，王韶完全明白了，他沒有說，只是很傷感，黯然神傷地和許老爺喝酒，心中一點也靜不下來。
許老爺覺得奇怪，問王韶怎麼了。
王韶不敢說四個美人和自己風流的事，他只說：「這幅畫以前是我家收藏的名畫，上面還有一首小詩，是我以前寫的。如今，時過境遷，物是人非，我再次看到這幅畫，不由我不悲傷啊。」
許老爺甚為慷慨，一分錢不要，把這幅畫送給了王韶。
王韶得到了這幅畫之後，掛在自己床邊，每天當成神明一樣供奉，他祈求這四位美人還能來找他，還能像從前那樣快樂。一年來，他一直堅持，從不間斷，即便夢裡也都是四位美人。但是，那四位美人卻再也沒有來過。
終於，王韶病倒了，他每天都念著李白的那句「相見不相親，不如不相見」，吃不好，睡不好，消瘦了許多。
一日，王韶告訴貼身僕人，自己死後，把美人圖和他葬在一起。說完後，他大叫一聲，就此死去，時年二十一歲。
世事難以說盡，到頭一場春夢。