中國山水畫產生於六朝，起初只作為人物畫敘事場景的點綴。唐朝中期，青綠山水畫由李思訓父子推向成熟。另一面，王維力主變革，在士大夫們「水墨更宜乎道」的時代呼喚中，王維提出了「水墨興吾唐代」的口號；在「度物象求其真」的時代追求中，理法受到了進一步的重視。於是「皴法」應運而生。五代，荊浩、董源的出現，確立了皴法的型態基礎，使山水畫技法得以初步完善，促使了這一畫科進入了文人畫自覺的新時代。
在中國文學或哲學傳統中，在《楚辭》《莊子》的影響下，漁夫儼然一種不拘泥於現實世界、不被任何東西束縛的存在，代表了逸世和世外桃花源的理想。
在中華五千多年的歷史長河中，文化創作層出不窮，並隨歷史沉澱發展至今。國畫作為古典文化的藝術載體之一，一筆一畫都承載了東方民族各階段的歷史觀念和精神嚮往。而其中山水畫通過描摹中國的山水景觀，上至白鷺飛鳥，下至小溪流淌，無一不向世人展示了祖國的大好河山與各大書畫家的藝術追求。
山水畫是從宋代開始取代人物畫，成為主流的。隨著北宋科舉制的完善，士大夫主宰了宋代及以後的藝術文化。山水畫作為一種更能反映他們精神境界的主題，受到追捧。
中國山水畫在最開始的階段大多是出現在人物畫的畫面上襯託人物，一直持續到魏晉南北朝，才開始逐漸形成一門獨立的學科，隋唐時期發展至成熟的階段，而至五代宋元則發展至巔峰，在其之後的明清山水畫都各有特點的發展。