每周兩更！李沐老師已在GitHub 開源了《深度學習論文精讀》，挑選了近10 年來深度學習必須文章，知乎B站油管同步視頻講解！
作者 | 吳彤
編輯 | 青暮
深度學習應該看哪些文章？大神李沐甩出了一份《深度學習論文精讀》寶典，給大家抄作業啦！
目前精讀文章已在 GitHub 開源，速覽！
GitHub地址：github.com/mli/paper-reading
個人主頁：https://github.com/mli
從本月初做論文推薦和精讀以來，現已上傳5條視頻，已經逐段式逐句式精讀了2篇論文。話不多說，趁著還能上車，趕緊追呀！！！
每次精析近60分鐘，時長感人！從發布時間來看，老師你為啥總是周四周五上傳視頻？莫非我已經掌握了你的輸出節奏！新一期的視頻預計在3天後，前排蹲起！
從李老師已經推薦的論文來看，開頭就是兩篇重頭戲---
深度學習奠基作之一：AlexNet
9年後重讀，原來AlexNet的報告也被大佬們噴過？
AlexNet論文中有多少觀點現在看都不對？
撐起計算機視覺半邊天的：ResNet
為什麼網絡越深，效果越差？
殘差連接在做什麼？
從當下最熱火的深度學習問題入手，再重讀經典深度學習論文，經典還能回應時代之聲嗎？
李老師不僅從專業角度「亮劍式」解析論文，還光明正大領著大家吃起了瓜！原來大佬的的論文也被噴過！
看李老師做過的視頻講解，真真是讀書「破」萬卷！
怎麼老師您的筆法越邪魅狂狷，我心越踏實！這樣的論文結構解析和技術分析，一眼就能把論文讀「薄」！
在開篇之作如何讀論文中，沐神總結了讀論文的一種套路：
論文結構通常分為六個部分，要按照「讀三遍」的方法快速掌握論文的精華。
1.title
2.abstract
3.introduction
4.method
5.experiments
6.conclusion
第一遍：標題、摘要、結論。可以看一看方法和實驗部分重要的圖和表。花費十幾分鐘時間了解到論文是否適合你的研究方向。
第二遍：確定論文值得讀之後，快速把整篇論文過一遍。不需要知道所有的細節，但需要了解重要的圖和表，知道每一個部分在幹什麼，圈出相關文獻。如果覺得文章太難，可以讀引用的文獻。
第三遍：重點讀論文提出了什麼問題，用到了什麼解決方法，實驗是怎麼做的。
在讀方法的部分中，思考自己如何完成作者所提出的問題，用什麼方法實現；
在讀實驗的部分時，思考自己能不能比作者做得更好；能用什麼方法優化。
在沐神的接下來的論文精讀中，同樣是按照這種方法指導大家拆分論文，懂得如何讀論文是科研入門的第一步。
當然我們從李老師的GitHub 主頁中發現，他在15個小時之前已經悄悄更新了下一期目錄：
Transformer：新的大一統架構？
圖神經網絡的可視化介紹。
這樣勤奮的老師誰能不愛！難怪大家對沐神的評價是：不用催更反而督促粉絲跟上節奏的神奇up主！
李老師官方透露：
錄一篇文章的時間大概是5個小時（拍攝、剪輯、上傳），一般是每天深夜找半個小時或者一個小時做一點。如果沒有其他更緊要的事情的話，10天左右可以出一篇。如果大家熱情的話，可以多趕一趕！
考慮在之後視頻中將要介紹的論文，選取的原則是10年內深度學習里有影響力文章（必讀文章），或者近期比較有意思的文章。當然這十年裡重要的工作太多了，不可能每篇都過。在選取的時候會偏向一些之前直播課中沒講到過的。歡迎大家在討論區里提供（點）建議（歌）。
現在的候選論文已經列出，將持續更新（數字不代表講析順序）。
-
Adam：深度學習里最常用的優化算法之一。
連結：https://arxiv.org/abs/1412.6980
-
EfficientNet：通過架構搜索得到的CNN，現在常被使用。
連結：https://arxiv.org/abs/1905.11946
-
BERT：讓深度學習在NLP上熱度超過了CV。
連結：https://arxiv.org/abs/1810.04805
-
GPT3：朝著zero-shot learning邁了一大步，當然也得講一講GPT/GPT-2
連結：https://arxiv.org/abs/2005.14165
-
GAN。生成類模型中的開創性工作。
連結：https://arxiv.org/abs/1406.2661
-
CLIP。圖片分類從此不用標數據。
連結：https://openai.com/blog/clip/
-
Non-deep networks：21年10月的新工作，非深度網絡也能在ImageNet刷到SOTA。
連結：https://arxiv.org/pdf/2110.07641.pdf
-
為什麼超大的模型泛化性好
連結：https://cacm.acm.org/magazines/2021/3/250713-understanding-deep-learning-still-requires-rethinking-generalization/fulltext
-
GNN 介紹： Distill上最近一篇寫得很好的介紹性文章。
連結：https://distill.pub/2021/gnn-intro/
-
AlphaGo：讓強化學習出圈的一系列工作。
連結：https://deepmind.com/research/case-studies/alphago-the-story-so-far
十篇論文已經安排好，意味著至少有兩個半的時間，李老師將和我們一起雲學習！
從李老師敲定的論文來看，篇篇都有討論價值。
因此有網友表示：重讀論文很有必要，技術需要時間驗證。
至於一部經典作品是什麼作品，哪怕它與時代的旋律格格不入，它也至少成為一種時代的背景噪音。
回顧李老師自己的生命歷程，"大神"，是很多人對李沐的印象。作為一經推出便大受追捧的 MXNet 深度學習框架的主要貢獻者之一，李沐功不可沒。
以倒敘時間線來看，李沐目前為止的職業和學習生涯大致是這樣的：
-
亞馬遜首席科學家，2017 年 3 月至今
-
百度首席架構師，2014.4-2015.12
-
CMU 讀博士，2012-2017
-
Google Research 實習生，2013 年夏
-
百度高級研究員, 2011.4 - 2012.8
-
香港科技大學研究助理，2009 - 2010
-
微軟亞洲研究院實習，2007 年夏
-
上交 ACM 班
但是再看李沐近來的感悟，他更像是一位用理性審視生命歷程的「有心人」，最近提出用隨機梯度下降來優化人生的箴言：多向四處看看，每一步的方向都是你對世界的認識。
隨機梯度下降的第一個詞是隨機，就是你需要四處走走，看過很多地方，做些錯誤的決定，這樣你可以在前期邁過一些不是很好的舒適區。
重讀論文大抵如此。優秀的經典論文就是要敢於直面權威的審視，也要在時間的流動中經久不衰。提到這十年以來的論文，李老師也談到文中部分觀點的失效，但能再從中錘鍊出什麼，從字縫裡翻出什麼細節，從段落中抖摟出什麼字碴兒，正是重讀經典的意義。