近日，2023年國際遙感頂級會議IGARSS競賽以及計算機視覺頂級會議CVPR部分完結賽事獲獎名單陸續公布，西電人工智慧學院參賽隊伍在兩項競賽中公獲四項冠亞軍獎項。同時，學院有6篇論文被2023 CVPR正式公布錄用，26+篇論文被IGARSS錄用，所有獲獎隊伍與論文作者被邀請於會議上進行報告或者展示。
2022級碩士研究生張君沛、張柯欣、彭瑞組成的學生團隊獲得了CVPR 2023競賽NTIRE 2023 Stereo Image Super-Resolution Challenge—Track 3 Fidelity & Realistic與NTIRE 2023 Image Super-Resolution (x4)競賽兩項冠軍獎項。
張君沛、張柯欣、彭瑞
立體圖像超分辨旨在用低解析度的一對左右視角的立體圖像來重建高解析度的立體圖像。與單張圖像的超解析度任務不同，雙目超解析度可以利用場景的兩個視角（左視角與右視角）提供的互補信息，從而提升圖像恢復質量。競賽數據為Flickr 1024數據集，該數據集有1024對RGB圖像，其中訓練、驗證和測試數據分別有800、112、112對。該賽題最終採用額外的100張低解析度立體圖像對作為測試集進行測試。該賽題採用由模糊、縮減採樣、噪聲和壓縮組成的逼真退化模型來合成低解析度圖像，評價指標為PSNR和SSIM，PSNR（RGB）用於最終排名。
該隊伍提出了一種增強立體超分圖像恢復細節的集成學習算法LTESSR。該方法可以在立體超解析度圖像恢復過程中進一步補充細節，在不增加太多運行時間的情況下獲得更好的圖像恢復效果。首先，隊伍對圖像進行去噪等基礎恢復操作，隨後使用了CutBlur、Blend和RGB channel shuffling等數據增強方式，提高了模型的魯棒性。特徵提取階段使用NAFBlock分別提取左右兩個視角的單張圖像特徵，引入立體交叉注意力模塊融合兩個視角的信息，使用LTE增加補充了超解析度圖像的細節。在測試階段同時使用數據增強與多模型動態集成方法。隊伍提出的LTESSR方案在PSNR(RGB)指標上取得了22.3531的得分，遠超基準代碼與其他隊伍方案得分。該方案突破了多相位視覺信息在訓練過程中難以耦合和相互促進的技術難點，解決了左右視覺通道差異性與聯繫性的平衡問題。
第二個賽題NTIRE 2023 Image Super-Resolution (x4)屬於圖像超解析度的經典任務，目標是把雙立方下採樣生成的低解析度圖像恢復成4倍高解析度圖像。賽題使用DIV2K數據集，共包括1000對高解析度與低解析度圖像，其中訓練集800對，驗證集100對，測試集100對。賽題允許使用額外數據集訓練，評估指標是PSNR和SSIM。
該隊伍採用SwinIR-LTE為基線模型，同時使用了SwinIR、RDN-LTE、LIIF-EDSR、LIIF-RDN等多個模型。隊伍使用了CutBlur、Blend、RGB permute、Mixup、CutMix和CutMixup等6種方法進行數據增強。此外，隊伍還提出了融合SSIM中結構緯度計算的SL1 loss來替換L1 loss，顯著提高了SSIM指標的分數。在模型融合階段，隊伍提出了一種逆差異化動態權重融合方法，實現了減小壞值點影響的目的。隊伍方案在取得了31.23（PSNR）與0.87（SSIM）的得分，明顯優於其他參賽隊伍得分。該方案突破了圖像多維度綜合評價以及模型高效動態融合等技術難點，解決了低解析度圖像恢復中關鍵細節信息較難恢復問題。
博士研究生路小強、楊育婷與2022級碩士研究生劉瓊組成的學生團隊則獲得IEEE GRSS 2023 Track1: Building Detection and Roof Type Classification與IGARSS 2023 Track 2：Multi-Task Learning of Joint Building Extraction and Height Estimation兩賽道亞軍獎項。
IGARSS 2023賽道一旨在從高解析度光學圖像和SAR衛星圖像中實現建築物的實例分割與屋頂細粒度分類，探究光學和SAR數據的融合對建築物提取效能的影響。
該隊伍提出一種三階段訓練框架以及一種兩階段測試增強流程。其訓練框架由預訓練、監督訓練和半監督訓練組成。首先通過在裁剪出來的目標實例上進行遷移學習，將自然圖像中的先驗知識適應至本賽題中的遙感建築物細粒度感知上，選取BEiTv2模型作為特徵提取網絡。其次，在監督訓練階段引入一種自適應器來增強網絡的表徵能力，同時提出一種跨模態融合組件來有效利用SAR數據中的信息進行輔助訓練，選取HTC++作為檢測器網絡。在半監督訓練階段中提出全局平均濾波以及類內自適應閾值法對原始偽標籤進行去噪，提高了模型的泛化能力。隊伍提出的測試增強處理流程在對多種訓練模型的初始預測結果進行目標框級的加權融合，得到定位更準確的前景框後，使用檢測器的掩碼頭對最終結果進行分割。該方案突破了細粒度目標識別類內差異顯著以及多源信息融合低效等技術難點，實現了跨域場景下建築物提取的高效性能。
賽道二旨在從高解析度光學圖像和SAR衛星圖像中實現建築物的提取與高度估計，探究多任務聯合學習間的特徵共享與信息互補機制。真值數據包括建築物提取信息與nDSMs數字地表高程信息。
該隊伍提出一種複合結構多任務學習框架以及一種兩階段雙分支增強處理流程。所提出的多任務學習框架通過共享具備多模態信息融合能力的骨幹網絡，為實例分割、語義分割、高度估計任務提供表徵能力更強的特徵。檢測器使用HTC++，語義分割頭使用輕量化純MLP結構，高度估計頭使用PixelFormer。隊伍通過使用二值掩碼為高度估計任務進行背景濾波，增強了對前景建築物高度的估計能力。測試階段中，對於建築物提取任務，隊伍使用包含加權框融合技術的兩階段結果融合處理。對於高度估計任務，隊伍使用投票後的二值掩碼對逐像素高度最大化的估計結果進行背景濾波得到最終的DSM結果。該方案突破了多任務學習中的任務間競爭及共享特徵表徵能力差等技術瓶頸問題，實現了互助學習下的建築物提取與高度重構之間的有效融合。
據了解，西安電子科技大學人工智慧學院焦李成院士團隊在遙感領域有30多年的經驗積累，人才培養效果顯著。讓學生通過學術競賽快速提升科研能力、加強學術交流是人工智慧學院人才培養的舉措之一，「賽中學」能夠讓學生保持科研的動力，也鍛鍊了學生的組織能力、團隊寫作能力與抗壓能力等。近年來，智能學子們屢次在IGARSS、CVPR、ICCV、ECCV等多項國際頂會賽事中斬獲冠亞季軍獎項達百餘項。同時，學院學生也在各頂級權威期刊與會議上發表多篇論文。
（來源：西電新聞網）