直播 | 匯量科技資深算法架構師陳緒:基於 PySpark 打造全棧數據智能開發體驗

將門創投 發佈 2020-01-01T18:32:16+00:00

匯量科技的MindAlpha 平台在 PySpark 之上構建了 Deep Learning on PySpark 框架,在 PySpark 中無縫集成 TensorFlow 或 PyTorch,能夠直接高效訪問 Spark 的 DataFrame 數據,同時支持對大規模稀疏特徵

本文為將門技術社群第184線上分享,也是2020年的第一場talk~

北京時間1月2日(周四)晚8點,在將門技術社群,我們很開心邀請到匯量科技資深算法架構師陳緒,他與大家分享的主題是Deep Learning on PySpark:基於 PySpark 打造全棧數據智能開發體驗

屆時,他將介紹匯量科技開發的一站式機器學習平台 MindAlpha 的一個重要特性,即在 PySpark 中無縫集成 TensorFlow 或 PyTorch 等深度學習框架,能夠直接高效訪問 Spark 的 DataFrame 數據,同時支持對大規模稀疏特徵的分布式訓練。

活動信息

主題:基於 PySpark 打造全棧數據智能開發體驗

嘉賓:匯量科技資深算法架構師 陳緒

時間:北京時間 1月2日 (周四) 20:00

地點:將門創投鬥魚直播間

分享提綱

在搜索、推薦、廣告算法等領域,往往需要通過複雜的大規模數據處理,才能進入到模型訓練階段。在數據處理領域,Spark 是常用的開發工具。然而,在機器學習領域,TensorFlow 或者 PyTorch 則是事實標準。這導致業務算法的開發流程需要在不同工具間切換和同步數據,開發和執行效率比較低。

匯量科技的 MindAlpha 平台在 PySpark 之上構建了 Deep Learning on PySpark 框架,在 PySpark 中無縫集成 TensorFlow 或 PyTorch,能夠直接高效訪問 Spark 的 DataFrame 數據,同時支持對大規模稀疏特徵的分布式訓練。算法工程師在一套框架上即可完成從數據聚合、特徵抽取、模型訓練的完整流程,極大地提升了效率。

具體分享內容大綱如下:

1. 大數據和深度學習框架整合的現狀;

2. Deep Learning on PySpark 的原理;

3. 從特徵提取到模型訓練:在 PySpark 上的分布式 Deep Learning 開發示例。

嘉賓介紹

陳緒

匯量科技資深算法架構師

陳緒,2018年初加入匯量科技(Mobvista),任資深算法架構師,負責匯量科技大規模數據智能計算引擎和平台的研發工作。在此之前陳緒在阿里巴巴任高級技術專家,負責大規模機器學習平台的研發。

Ask Me Anything

趕不上直播也想向嘉賓提問?

希望嘉賓提供最佳解答?

掃描下方二維碼就能提問!在直播中被嘉賓選中回答的小夥伴將獲得一個紅包獎勵

(截止時間:直播前一小時

觀看直播或加群

將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構,旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底,創始團隊由微軟創投在中國的創始團隊原班人馬構建而成,曾為微軟優選和深度孵化了126家創新的技術型創業公司。

將門創新服務專注於使創新的技術落地於真正的應用場景,激活和實現全新的商業價值,服務於行業領先企業和技術創新型創業公司。

將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容,使創新成為持續的核心競爭力。

將門創投基金專注於投資通過技術創新激活商業場景,實現商業價值的初創企業,關注技術領域包括機器智能、物聯網、自然人機互動、企業計算。在近四年的時間裡,將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十家具有高成長潛力的技術型創業公司。

如果您是技術領域的初創企業,不僅想獲得投資,還希望獲得一系列持續性、有價值的投後服務,歡迎發送或者推薦項目給我「門」: bp@thejiangmen.com

關鍵字: