射鵰中桃花島主黃藥師是一個很特別的人，在五絕之中他所學最廣，琴棋書畫，蒔花種草，奇門遁甲，諸子百家他幾乎樣樣精通，尤其是在這種情況下他的武功又是出神入化。在金庸創作出來的武俠人物中只有天龍八部中的逍遙子和無崖子能夠與之媲美。王重陽雖然也是個由儒轉道的大家，但在博學上還是比不上黃藥師。
這樣一個博學的人還能練成如此高的武功，這可不是一般的人能夠做到的。關於黃藥師的家世連載版和三聯版中都沒有交代，到了新編版中才對黃藥師的家世做了交代：
「師父（黃藥師）是浙江世家，書香門第，祖上在太祖皇帝時立有大功，一直封侯封公，歷朝都做大官。師父的祖父在高宗紹興年間做御史。」
說起來黃藥師所在的黃家不僅是書香門第，還是官宦世家。黃家是開國功臣，一直是公侯之家，是趙宋王朝最頂層的統治階級重要成員之一。他們的利益與皇家利益高度一致，所以維護趙宋皇朝的利益就是維護他們自己的利益。於是當黃家發現有人危害趙宋皇朝的時候，他們必然會挺身而出，因為那是維護自己的利益：
「這一年奸臣秦檜冤害大忠臣岳飛，師父的祖父一再上表為岳飛伸冤，皇帝和秦檜大怒，不但不准，還將他貶官。太師祖忠心耿耿，在朝廷外大聲疾呼，叫百官與眾百姓大伙兒起來保岳飛。秦檜便將太師祖殺了，家屬都充軍去雲南。」
秦檜陷害岳飛危害的是整個趙宋朝廷的利益，所以黃家當時的當家人黃藥師的祖父自然不會旁觀。黃藥師的祖父試圖挽救岳爺爺但沒有成功，於是他自己也陷入了危局。他本人遇害，而家眷則被流放雲南，官宦世家加上書香門第便在黃藥師祖父這一代結束了。但百足之蟲，死而不僵，世家沒有那麼容易被打倒，所以黃藥師的成長環境還是可以的。
「師父是在雲南麗江出生的，他從小就讀了很多書，又練成了武功。」
黃藥師能夠讀書就超過了許多人，沒有堅實的物質基礎是讀不了書的。所以黃家雖然流放到雲南了，但黃家對於子弟的培養並沒有受到影響。至於黃藥師的武功是怎樣練成的則不得而知。黃藥師仿佛是一個無師自通的人，讀著讀著書自然就練成了絕世武功。這就像《雪中悍刀行》中微山軒轅世家的軒轅敬城讀書讀成了天象境，最後帶著軒轅大磐一同升了天。
軒轅敬城表面只讀書，但他把軒轅世家的武功秘籍其實都練得差不多了，只是外人不知而已。而黃家讓黃藥師讀書的目的是科舉，所以他讀的書應該是以四書五經為主的。但作為武俠世界的世家，家族裡收集一些武功秘籍也不是不可能的。黃家族內可能就有一些練了武功用於維護家族安全的子弟。
武俠世界裡也不是沒有隻讀書就讀成了武功高手的，留下了《九陰真經》的黃裳就是這樣的人。他一個對武功一竅不通的中年文人只是讀了幾年道藏就領悟並練成了絕世武功，可見任何世界都有妖孽的天才。也許射鵰里的黃裳也是黃藥師的主人，既然有黃裳這個妖孽的先驅者在前，那麼再出一個讀書讀成武功高手的黃藥師也沒有什麼奇怪的。
如果真是這樣，那黃藥師就是天生的武功高手，他對於武功屬於那種看一遍就幾乎精通的人。別人練一年的武功黃藥師可能一天就練成了。一目十行過目不忘，我們普通人可能做不到，但不能因為我們做不到就認為所有人都做不到。黃藥師是人中之龍，習武天才，所以他才能在把書讀好的同時練成了絕頂武功。至於師父，黃裳不需要師父，那黃藥師也不需要師父，這樣的黃藥師應該才是射鵰世界裡的黃藥師。