今日花港觀魚公園在蘇堤西，公園大門在蘇堤南端的第一橋（映波橋）與第二橋（鎖瀾橋）之間，向西跨過一汊之隔的定香橋，那一大片極美的區域既是。
但讀南宋《武林舊事》，蘇堤第一橋與第二橋西並無花港觀魚景點，而是先賢堂與旌德觀。先賢堂又名仰高堂，祠許由以下共四十人，均為宋之前各代杭州先賢及節婦孝子的代表人物。旌德觀是道觀，原是佛寺名定香，袁韶時改為道觀，後又復為定香教寺。
南宋時的花港觀魚景點並非在此，卻是在蘇堤的對岸（里西湖西岸）。
《武林舊事*湖山勝概*大麥嶺》載：「盧園：內侍盧允升園。景物秀奇，西湖十景所謂『花港觀魚』，即此處也。」
明《西湖遊覽志*孤山三堤勝跡》云：「（蘇堤）第三橋曰望山，與西岸第四橋對。水名花港，所謂『花港觀魚』者是也。」
西岸第四橋，指楊堤沿湖第四橋，在今丁家山東端，現西湖國賓館一帶，今地圖上，那兒有一湖汊正對蘇堤望山橋，此湖汊宋時稱花港，當時花港觀魚景點應在湖汊縱深處的盧園內（今國賓館內）。
《西湖遊覽志*卷四*南山勝跡》云：「盧園，宋內侍盧允升小墅。景物秀奇，有池，文石甃砌，水洌而深。異魚種集，西湖十景所謂『花港觀魚』，即此地也。」
此地在大麥嶺東的丁家山後，名花家山（非今日花家山莊處），舊有花塢、花港；南宋內侍盧允升在此修建了別墅，曰盧園；文人雅士、宮廷畫家多有往來，畫師創作西湖十景時，見花港的池中奇魚雲集，非常有特點，於是命名為花港觀魚。這是花港觀魚景點名稱的由來。
宋·張矩《應天長*花港觀魚》詞：
「岸容浣錦，波影墮紅，纖鱗巧避鳧唼。禹浪未成頭角，吞舟膽猶怯。
湖山外，江海匝。怕自有、暗泉流接。楚天遠，尺素無期，枉誤停楫。
回望涌金樓，帶草蠻煙，縹緲際城堞。漸見暮榔敲月，輕舫亂如葉。
濠梁興，歸未愜。記舊伴、袖攜留折。指魚水，總是心期，休怨三疊。」
南宋·陳允平《驀山溪*花港觀魚》：
「春波浮淥，小隱桃溪路。煙雨正林塘，翠不礙、錦鱗來去。
芹香藻膩，偏愛鯉花肥，檐影下，柳陰中，逐浪吹萍絮。
宮溝泉滑，怕有題紅句。鉤餌已忘機，都付與、人間兒女。
濠梁興在，鷗鷺笑人痴。三湘夢，五湖心，雲水蒼茫處。」
古代文人觀魚，往往會提及「濠梁興」，所謂濠梁興，典出《莊子*秋水篇》，言莊子與惠子游於濠梁之上觀魚，莊子見魚從容而泳，「是魚之樂也！」於是產生了兩句經典的對話，惠子曰：「子非魚，安知魚之樂？」莊子曰：「子非我，安知我不知魚之樂！」於是莊子及後人便由此產生了許多哲理的思考與思辨。濠梁興也成了觀魚與詠山水之樂的代名詞，
到了南宋末，花港觀魚景點或已沒落。南宋詩人王洧《湖山十景*花港觀魚》詩云：「斷汊惟余舊姓存，倚闌投餌說當年。沙鷗曾見園興廢，近日遊人又玉泉。」說是那個名叫花港的湖汊，其間盧園已經名存實亡，水鳥見證了它的興廢，近來人們觀魚又都去玉泉寺了。
明代也有詩人吟詠花港觀魚之景，已不知何處了，或大都是想像之中的景。詩人聶大年的《西湖景十首*花港觀魚》詩，讀之，不見觀魚人，只有捕魚人了：
「湖上春來水拍空，桃花浪暖柳陰濃。微翻荇帶彩千尺，亂躍萍星翠幾重。
洲渚此時多避鷺，風云何日去為龍。箇中縱有濠梁樂，闊網深罾不汝容。」
清康熙年間，因迎接皇帝下江南，杭州官員大興土木，以圖恢復南宋十景景觀，在蘇堤定香寺遺址上重新築造了花港觀魚園林新景點，即今處，與南宋時里西湖西岸的花港觀魚原處南北隔水相望。清人詠花港觀魚之詩，都是指此處（今亦是）。
清·厲鶚《淸江引*花港觀漁》：
「東風倚闌花似雪。小汊分鱗鬛。
魚將花吐吞，花逐魚明滅。人生不如魚樂也。」
厲鶚觀魚後，發出了人生不如魚樂的感嘆！
而喜歡寫詩的清乾隆帝弘曆曾寫《題西湖十景*花港觀魚》詩：
「花家山下流花港，花著魚身魚嘬花。最是春光萃西子，底須秋水悟南華。」
弘曆之後每到杭州，都會按原韻再寫一首《花港觀魚》詩，如此五疊。其《題西湖十景五疊舊作韻*花港觀魚》詩：
「渠成水到自為港，名以實傳因號花。卻異如棠觀魚者，隨時玩景助年華。」
乾隆覺得觀魚無非是「玩景觀年華」，圖個樂子而已，是不必去像莊子在《秋水篇》裡那樣去思考人生悲歡的，故云「底須秋水悟南華」。簡言之，有濠梁興、觀魚樂即可，不必每每因此去深層次地思考人生哲理。南華：《南華真經》，是《莊子》的別名。