理論中心前沿系列講座往期精彩回顧為你整理好了!

微軟亞洲研究院 發佈 2022-12-20T19:54:59.860604+00:00

2021年12月,微軟亞洲研究院理論中心正式成立,通過搭建國際學術交流與合作樞紐,微軟亞洲研究院理論中心已促發了很多關於計算機理論研究的前沿探討。

理論是計算機科學的基礎,也是計算機技術發展的動力。2021年12月,微軟亞洲研究院理論中心正式成立,通過搭建國際學術交流與合作樞紐,微軟亞洲研究院理論中心已促發了很多關於計算機理論研究的前沿探討。

在此背景下,我們正式推出了微軟亞洲研究院理論中心前沿系列講座。作為微軟亞洲研究院的常設系列直播講座,該講座將邀請全球站在理論研究前沿的研究者介紹他們的研究發現,主題涵蓋大數據、人工智慧以及其他相關領域的理論進展。通過這一系列講座,我們期待與大家一起探索當前理論研究的前沿發現,並建立一個活躍的理論研究社區。歡迎對理論研究感興趣的老師和同學們參與講座並加入社區(加入方式見後文),共同推動理論研究的進步,加強跨學科研究的合作,助力打破 AI 發展瓶頸,實現計算機技術實質性發展!

錯過了此前的直播?不必擔心!今天我們還為大家整理了四至六期的講座回顧,速戳下文了解詳細信息吧!


第四期

On the (Non)smoothness of Neural Network Training神經網絡優化中的不光滑性

講座回顧:在本次講座中,來自清華大學的張景昭教授介紹了他在神經網絡優化領域的最新工作。張教授指出現在的優化理論分析和實踐觀察仍有較大差距,特別是在對光滑性的建模方面。張教授同時提供了一些神經網絡不穩定收斂的實驗觀察。來自微軟的研究者們與外部觀眾提出了自己對於當前神經網絡優化方面的看法和疑問,並得到了張教授的解答。

張景昭現任清華交叉信息研究院助理教授,博士畢業於麻省理工學院計算機科學專業,曾獲伯克利研究生獎學金,MIT Lim 獎學金,IIIS 青年學者獎學金等獎項。研究主要包含優化算法複雜性分析,機器學習理論,以及人工智慧應用。

回放地址:

https://www.bilibili.com/video/BV19N4y1N7UE/


第五期

What Should a Good Deep Neural Network Look Like? Insights from a Layer-Peeled Model and the Law of Equi-Separation好的神經網絡應該是什麼樣的?

講座回顧:在本次講座中,來自賓夕法尼亞大學的蘇煒傑教授分享了神經網絡訓練中的一些有趣的幾何現象。蘇教授特別探討了著名的神經坍縮現象。他提出這一現象可以用一種只建模最後一層輸出和權重的層剝離模型的優化過程來解釋,並據此模型預測了非均衡學習中的一種少數坍縮現象。然後蘇教授提出了他和合作者們最新觀測到的等分律現象,即神經網絡對數據的分離程度逐層隨指數狀態平穩提升。大家對這些現象背後的深層次原因及進一步的現實意義提出了問題,並得到了蘇教授的解答。

蘇煒傑現任賓夕法尼亞大學沃頓商學院統計與數據科學系以及工學院計算機系副教授,同時他也是賓大機器學習研究中心的聯合主任。2016年,他博士畢業於史丹福大學,2011年本科畢業於北京大學。蘇教授的主要研究方向為隱私數據保護、深度學習理論、最優化理論、高維數據推斷和機制設計。他曾獲得斯坦福 Theodore Anderson 畢業論文獎(2016)、NSF CAREER Award (2019)、斯隆研究獎(2020)、美國工業與應用數學學會(SIAM)數據科學青年獎(2022)和 IMS Peter Gavin Hall Prize(2022)。

回放地址:

https://www.bilibili.com/video/BV1vg411a7ra


第六期

Player-optimal Stable Regret for Bandit Learning in Matching Markets匹配市場上的多臂老虎機算法

講座回顧:在本次講座中,來自上海交通大學的李帥教授分享了其團隊在匹配市場中多臂老虎機算法領域的最新工作。針對求解玩家最優匹配這一具體問題,李教授展示了其團隊提出的最新算法,並在理論上證明了這一算法可以達到(關於玩家的偏好差距的)多項式級別的後悔。該算法是首個達到這一量級後悔的(在不需要其他假設的情況下)。講座結束後,大家就算法表現能否進一步提升等問題提出了疑問,並得到了李教授的解答。

李帥現任上海交通大學約翰·霍普克羅夫特計算機科學中心助理教授。她於浙江大學獲得數學學士學位,在中科院大學獲得數學碩士學位,在香港中文大學獲得計算機博士學位。她的研究興趣包括機器學習理論、bandit 算法和強化學習算法。李帥在 ICML、NeurIPS、KDD、AAAI、IJCAI 等國際一流會議上發表了40多篇論文並擔任審稿者。


加入理論研究社區

歡迎掃碼加入理論研究社區,與關注理論研究的研究者交流碰撞,群內也將分享微軟亞洲研究院理論中心前沿系列講座的最新信息。你也可以向 MSRA.TheoryCenter@outlook.com發送以 "Subscribe the Lecture Series" 為主題的郵件訂閱講座信息。


關於微軟亞洲研究院理論中心

2021年12月,微軟亞洲研究院理論中心正式成立,期待通過搭建國際學術交流與合作樞紐,促進理論研究與大數據和人工智慧技術的深度融合,在推動理論研究進步的同時,加強跨學科研究合作,助力打破 AI 發展瓶頸,實現計算機技術實質性發展。目前,理論中心已經匯集了微軟亞洲研究院內部不同團隊和研究背景的成員,聚焦於解決包括深度學習、強化學習、動力系統學習和數據驅動優化等領域的基礎性問題。

關鍵字: