2000年，林建岳入股寰亞電影，成為大股東，開始簽約一些明星，將他們力捧。其中黎明、鄭秀文、楊千嬅、陳冠希都是他旗下的藝人。也正是因為接觸了很多的藝人明星，他的風流本性也被這些絕色佳人給煥發了出來。當時圈內經常都可以聽到他的風流事跡，很多女明星都和他有過關係。不過他最後卻娶了謝玲玲！
這個謝玲玲可不是一般的女人，她在8歲的時候因為扮演「婉君」一角，獲得了第四屆金馬獎最佳童星獎。她的演藝道路發展的非常好。甚至在一段時間裡，都是力捧的女主角，可就在24歲那年，她選擇了走上另一條道路，就是嫁入豪門。她選擇嫁入當時經濟實力雄厚的林家，成為林建岳的妻子。結婚之後，謝玲玲還生下了五個兒女。謝玲玲不僅為林家延後，還非常的賢惠，深得婆婆余寶珠的喜愛。
當時余寶珠對這個兒媳可沒的說，婆媳倆的感情甚至勝過和林建岳。誰知道這個林建岳卻風流成性，辜負了母親和謝玲玲。當年，王祖賢是一個令無數男人都痴迷的女人。這其中就包括林建岳。林建岳迷上王祖賢之後，對王祖賢非常好。大家都知道，當年的香港有很多的道上人物，其中有很多都是林建岳幫王祖賢擺平的。當時王祖賢感懷在心，很快就和林建岳在一起了。
這些緋聞也很快傳到了謝玲玲的耳朵里，沒想到謝玲玲還沒有發作，倒是婆婆余寶珠首先表態，選擇力挺正牌兒媳，還堅決不同意兒子和王祖賢交往。還當眾大罵王祖賢，搞得王祖賢聲名狼藉，只能出走國外。當然大好的前途，也被林建岳給毀掉了。謝玲玲知道丈夫變心，抱著絕不容忍的態度，選擇離婚，不過對於婆婆，感情還是依舊。余寶珠對謝玲玲很好，還幫她爭取到了4億港幣的離婚費。
賠了夫人又折兵的林建岳雖然傷心了一陣，不過還是很快抽身，開始尋找下一個目標。身邊的朋友一個接著一個，從頗具名氣的翁虹、舒淇到楊采妮等人，都曾投入林建岳的懷裡。當時林建岳還和林學華傳出了婚訊，不過還沒等到看兩人的婚禮，卻等來兩人分手的消息。 1998年，林建岳和一個下屬，即台灣模特陳浥萍走到一起，兩年之後，還為林建岳生下了一個女兒。除了這個模特，林建岳還和台灣女星林熙蕾有染，甚至被拍到進出林熙蕾的家裡。
當然遠不止這些女星，可以說林建岳是泡遍了這個港圈女星。不過隨著年紀增大，他還是得服老，年紀大玩不動了，好在他後繼有人。他的長子林孝賢，不僅繼承了老爹的風流本性，甚至還更勝一籌。早在之前，就被傳出和應采兒、黃美妍等人拍拖了幾個月，在和她們相戀的時候，還迷上了阿嬌鍾欣桐。當時還對阿嬌進行了一番瘋狂的追求，一個花花公子，泡一個女星自然不在話下。
據說兩人在一起之後，一直沒有正面承認這件事情。反倒在大家面前都說只是朋友關係。 至於兩人什麼時候分開的，也就不得而知了。不過他很快傳出更離譜的風流事跡。當年為了慶祝30歲的生日，出動了11架豪華遊艇，在大朗西灣舉行一個「不設限」派對狂歡。來參加派對的，除了一些身材火辣、性感的美女，還有很多國外美女。這樣的舉動引起了很大的轟動。不知道他老爸看到是不是會覺得兒子終究還是長大了，青出於藍而勝於藍。
林建岳還有一個女兒叫林恬兒，私生活也是非常的高調。曾經還曬出和摟著房祖名的脖子拍照，看起來很是曖昧親密。她一向是非常大膽開放，在公眾面前就是一副小太妹的模樣。其實在網上這個林恬兒的資料，也是十分的精彩豐富。看來不僅是林建岳的兒子，就連女兒也繼承了他的本性，他是該高興還是該難過呢？