南科大研發高通量成像深度學習框架,實現全細胞的三維超分辨成像

deeptech深科技 發佈 2024-01-10T14:42:37.424719+00:00

參考資料:1.Fu, S., Shi, W., et al. Real-time 3D single-molecule localization using experimental point spread functions. Field-dependent deep learning enables high-throughput whole-cell 3D super-resolution imaging. Nat. Methods, 20, 459 .

從 2009 年赴德留學,到 2019 年回國加入南方科技大學擔任獨立 PI。暌違十年之久,李依明終於回到故鄉之地。



三維超高分辨顯微成像技術及其生物應用,是他的主要研究方向。前不久,他和團隊研發出一款名為 FD-DeepLoc 的深度學習框架,藉此將單分子定位顯微鏡(SMLM,Single-molecule localization microscopy)的有效成像視野擴展到約 180×180μm² 的範圍,並在全細胞範圍實現三維超高分辨成像,相比之前實現了高出 100 多倍的成像通量。


概括來說,該成果突破了傳統卷積神經網絡對於空間位置不敏感的局限,在大面陣科研級互補金屬氧化物半導體相機(sCMOS,scientific Complementary Metal–Oxide–Semiconductor)的整個感光晶片視場範圍內,均能對空間移變的單分子數據精準定位,並能實現三維大視場高通量超分辨成像。


最近幾年,隨著腦科學技術的發展,針對神經元甚至全腦切片進行成像的需求愈發高漲。由於神經細胞的尺寸較大,且在大腦中大範圍地密集分布,這對成像的視野和解析度提出了更高的要求,因此領域內亟需一種兼具高解析度與高視野的顯微成像技術。


而本次成果則讓 SMLM 技術的應用範圍從單細胞量級的成像,擴展到細胞種群乃至組織的成像。這大大提高了研究效率,讓研究人員在解析生物大分子結構的同時,還能捕捉到細胞種群間的微小差異。


在超分辨技術發展趨勢走向更高通量和更大視野的背景下,全球多個實驗室都在進行高通量、高分辨、大視場的成像,而本次成果恰好為相關研究中提供了一個及時的手段。




結合超分辨技術本身的超高解析度和分子特異性,李依明認為 FD-DeepLoc 額外提供的高通量成像能力,將帶來以下幾個方面的潛在應用:


其一,未來大尺寸的超分辨成像將不再局限於玻片表面的細胞,而是能夠研究多種不同類型的樣本比如組織切片和原位樣本,因此有些研究在臨床環境中就能進行;


其二,當使用藥物影響細胞種群之後,還可以研究藥物的作用機制、毒性和治療效果,從而為藥物研發提供新機會;


其三,該成果可以幫助醫生更快速、更準確地診斷疾病,從而為臨床治療提供更可靠的依據,進而提高疾病診斷水平;


其四,將該技術與其他技術比如基因組學、蛋白質組學和分子生物學技術等結合使用,可以讓研究者獲得更全面、更準確的信息。


日前,相關論文以《視場相關的深度學習可實現高通量全細胞三維超分辨成像》(Field-dependent deep learning enables high-throughput whole-cell 3D super-resolution imaging)為題發在 Nature Methods 上[1],博士生傅爽和石偉為共同第一作者,李依明擔任通訊作者。





難題:如何提高超分辨成像的視野?


作為一種超分辨技術,單分子定位顯微鏡的解析度比光學衍射極限高出一個數量級以上,能將傳統光學顯微鏡的解析度從 200nm 提升到 20nm 左右,是在分子水平觀測亞細胞器微觀結構的一個重要利器。研發這一技術的科學家,也獲得了 2014 年諾貝爾獎。


直到現在,它依然是一個前沿研究方向,人們通過這一技術不斷地觀測得到新的生物發現。但是,「天下沒有免費的午餐」,解析度的提升往往會導致成像視野的縮小。


由於超分辨顯微鏡對像差非常敏感,一般只能在視場中心像差比較小的幾十微米範圍內,傳統超分辨顯微鏡才能取得較好的成像效果。


一直以來,高通量超分辨成像都是領域內一個重要難題。此前,也有學者提出多個基於硬體掃描的方法。但是,這些方法的複雜度往往較高,成像效率也比較低。


而且,本質上它們仍是通過拼接多個小視場圖像實現大範圍成像,這不僅需要一整套複雜的掃描成像設備,還需要對圖像進行高精度配准以減少偽影,這限制了高通量超分辨成像技術的廣泛應用。


最近幾年,sCMOS 的不斷發展讓人們獲得了更多的像素、以及越來越大的感光晶片,這為高通量成像帶來了新機遇。


然而,在超分辨成像領域卻並未藉此得到相應的視野提升。其中一個重要原因在於,視場相關的像差限制了全畫幅的大視野成像。


為了充分利用現代 sCMOS 相機提供的大尺寸晶片,實現整個感光晶片範圍的高質量全細胞超分辨成像,李依明團隊在硬體和重建算法上開展了一系列原創性工作。



破題:用深度學習「之鑰」,打開高通量超分辨成像「之門」


據了解,在李依明回國之前他就想做這一課題,尤其是領域內幾個深度學習成果在高密度單分子成像的成功應用,讓他意識到深度學習將是解決單分子定位領域內複雜 PSF 建模和定位的重要技術手段。


回國之後,他將該項目作為重點推進課題。萬事開頭難,回國剛成立實驗室的時候,面臨著人員招聘和培養、設備採購及搭建、確定研究課題和推進等任務。


「可以說是事無巨細,這些都需要我親力親為。回國初期,工作困難大、強度大是一方面,還有一方面是精神壓力大。當我從博士後轉為一個獨立 PI,面對各種考核指標我也不免有些焦躁。但我很慶幸自己堅持了下來,這離不開南科大的支持,正因此我才有足夠的底氣堅持做自己認準的事。研究中我們一點一點地積累項目所需要的各種技術。當很多設想變成現實,並最終整合在一起攻克領域內的重要問題時,也是我在科研中感到最享受的時候。」李依明說。


同時,本次工作的順利完成,也得益於前期的理論和技術積累,尤其是在單分子點擴散函數建模以及 GPU 加速算法方面,此前李依明和團隊獲得領域內權威數據分析挑戰賽的第一名,這些積澱也確保了本次研究的成功。


具體來說,本次研究中他們先是設計和搭建一套大視場照明以及成像系統,並將自適應光學器件可變形鏡和大面陣的 sCMOS 相機集成到光路中,從而在硬體上滿足了大視場成像的基本條件。


接下來,課題組選用基於矢量衍射的德拜積分理論,來對整個視野的像差進行精確建模。考慮到建模整個大視場空間移變的像差,需要對整個視場進行上千次的採樣,而矢量衍射德拜積分理論的計算複雜度較高,傳統算法通常耗時數天左右才能完成整個視場的建模。


為了加速這一過程,該團隊開發了領域內第一個基於 GPU 加速的矢量點擴散函數(Point Spread Function,PSF)模型擬合算法和像差校正軟體,將校正速度提高了 50 倍,並將大視場像差建模時間控制在一小時左右。


此外,為了實現對於全細胞的超分辨成像,課題組提出一種以可變形鏡促動器響應函數為基函數的相位設計框架,藉此得到一系列基於可變形鏡的三維精度最優點擴散函數(Deformable Mirror Optimized PSF, DMO PSF)[2]。


DMO PSF 能對景深進行自由控制,並具備較高的光子信號利用率。在 SMLM 成像中,驗證結果顯示 DMO PSF 的景深是傳統方法的 5 倍左右。


在硬體設計上實現大視場、大景深的成像,只是高通量超分辨成像的第一步。另一個亟需解決的問題是,如何針對存在空間移變像差的大視場數據進行超分辨重建。


近年來,深度學習算法已被廣泛用於科學研究中。憑藉出色的特徵感知能力和端到端的圖像擬合能力,深度學習在單分子定位中展現出遠超傳統算法的性能。


然而,對於傳統卷積神經網絡來說,面向圖像中的不同區域,它使用的是同一個卷積核,因此它對空間位置並不具備敏感性。


針對空間移變點擴散函數的精準定位,該團隊提出一套深度學習算法框架 FD-DeepLoc,藉此克服了視場相關的像差。


在 FD-Deep Loc 中,他們引入兩個位置相關的通道。這樣一來,卷積核在卷積單分子圖片的時候,也會對這兩個位置通道進行卷積,從而把位置相關的信息編碼到神經網絡里。


相對於領域內之前最好的基於三次樣條插值的傳統單分子擬合 Cspline 算法[3,4]、以及基於神經網絡的 DECODE 算法[5],FD-DeepLoc 均有顯著的提升。相比 DECODE 在三維超分辨定位精度指標均方根誤差上的表現,FD-DeepLoc 提升了將近兩倍。




此外,他們還通過製備多種生物樣品以進行大視場的成像,來對大尺寸的樣品加以研究。例如,體外培養的神經細胞通常在幾百微米的範圍內生長,而傳統的超分辨成像一般只能看到小於 50µm 的軸突片段,其景深極限在 1μm 左右,因此會忽略掉一些不常見的結構,也無法在更大的三維空間尺度上觀測神經元之間的精細互作信息。


FD-DeepLoc 的優點在於,即使在大直徑的神經突中,也可以精細地重建出目標蛋白的三維分布,從而能為大尺寸樣品的研究提供新的技術手段。


在細胞組學的研究中,通常需要分析和比較大量的細胞,以揭示其組成、功能和相互關係等。而 FD-DeepLoc 能對大量細胞進行高效成像和數據獲取,從而為科研人員提供更多信息和線索,進而為細胞組學研究提供更全面、更準確的結果。


例如,在本次工作中,李依明團隊在短時間內就能採集到上百個不經過人工挑選的全細胞線粒體超分辨圖像,通過提取這些細胞的形態(分叉、長度、球形度等)並進行聚類分析,他們得到了三種不同類型的線粒體細胞。


「這些結果讓我們相信,FD-DeepLoc 將為超分辨顯微成像領域提供新的技術思路和視角,對研究完整細胞群或組織中納米級生物結構具有重要的應用價值。大視場結合大景深的成像,也給我們帶來了數據通量的顯著提升。我們相信,這項技術將為結構生物學和細胞生物學的研究提供新思路。」李依明說。


另據悉,針對 FD-DeepLoc 包含的大視場空間移變的矢量 PSF 建模、以及基於深度學習的單分子定位算法,課題組均已進行開源(https://github.com/Li-Lab-SUSTech/FD-DeepLoc)。





親歷科學開源潮流,用實際行動踐行共享精神


在國產替代的大潮之下,李依明認為開放和合作依然非常重要。在過去十年間,學界經歷了一波開源科學的潮流,很多數據和原始碼都被開源和共享。


他說:「我自己也有幸參與了耶魯大學 Joerg Bewersdorf 教授牽頭的基於雙鏡頭的 4Pi 顯微成像系統的一個群體研究團隊中。在這個集群中,每個團隊有各自不同的研究側重點,大家可以非常坦誠溝通交流,並互相共享技術。」


這一經歷給李依明的個人成長帶來了極大幫助,這讓他也積極擁抱開源共享。他的課題組發表的論文,涉及到的相關代碼都會開源,以讓其他團隊能更快地使用相關技術。「我相信,開源的科學研究能更好促進整個學界的交流和合作,提升大家的研究效率。」李依明表示。


都說學海無涯,科研亦是如此。下一步,李依明打算提升超分辨成像的通量至毫米級尺寸,並將在成像系統硬體設計上實現超大視場的均勻照明和超大面陣探測器成像,在核心算法上對整個視野範圍內的原位 PSF 進行精確建模,以及對空間移變的大數據進行快速分析,以期實現對於多細胞類器官、病理組織切片和腦切片等樣品的高通量超分辨成像。


李依明補充稱,超分辨成像是一個新興的領域,國內的發展水平已經能和國際先進水平比肩。在高端科學儀器國產化的背景下,對相關成果進行產業化十分有必要,同時機會也非常多。基於此,他也將和團隊再接再厲。


參考資料:

1.Fu, S., Shi, W., et al. Real-time 3D single-molecule localization using experimental point spread functions. Field-dependent deep learning enables high-throughput whole-cell 3D super-resolution imaging. Nat. Methods, 20, 459 (2023).

2.Fu, S. et al. Deformable mirror based optimal PSF engineering for 3D super-resolution imaging. Opt. Lett. 47, 3031 (2022).

3.Li, Y. et al. Real-time 3D single-molecule localization using experimental point spread functions. Nat. Methods 15, 367 (2018).

4.Li, Y. et al. Global fitting for high-accuracy multi-channel single-molecule localization. Nat. Commun.13, 3133 (2022).

5.Speiser, A. et al. Deep learning enables fast and dense single-molecule localization with high accuracy. Nat. Methods 18, 1082 (2021).

關鍵字: