
場景分類(Scene classification)是遙感圖像解譯的關鍵一環,為高效的環境保肓、土地利用管理及災害監測奠定基礎。 然而,隨著衛星技術不斷進步及環境持續演變,新的地表覆蓋類別會隨時間陸續出現。這對傳統深度學習方法構成重大挑戰,因為這些方法往往需要耗費大量運算資源進行重新訓練,以擴展其可識別範圍。
領域偏移與泛化的挑戰
為適應不斷演變的數據流,數學及數據科學講座教授吳國寶教授率領團隊應用了增量學習(Incremental Learning)。 該技術旨在持續獲取新知識的同時,保留先前學習的資訊,以避免所謂的「災難性遺忘」(Catastrophic Forgetting)。 然而,一個重大障礙依然存在:領域偏移(Domain Shift)。
從不同衛星及多元地理區域收集的遙感數據,由於成像條件和感應器參數的差異,呈現出顯著的分佈差距。 當增量學習模型在源域(Source Domain)完成訓練並應用於未知的目標領域(Target Domain)時,往往會面臨嚴重的性能退化。 因此,緩解這些領域偏移對於實現跨衛星可泛化的增量式遙感場景分類至關重要。
過往,緩解領域偏移主要依賴兩種範式:領域自適應(Domain Adaptation)與領域泛化(Domain Generalisation)。領域自適應著重於使源域與目標領域之間的特徵分佈一致。然而,由於其高度依賴預先獲取目標領域數據,現實可行性有限。 相反,領域泛化僅利用源域數據進行模型訓練,使其能泛化至未知的目標領域。 吳教授表示:「這種方法極具可行性,為遙感數據的持續演變提供了實用的解決方案。 鑑於衛星圖像持續變動,領域泛化完美契合了實際部署的需求。」
開創Adaptive Mixture-of-Experts Distillation
為解決這些複雜難題,研究團隊於「Adaptive Mixture-of-Experts Distillation for Cross-Satellite Generalizable Incremental Remote Sensing Scene Classification」提出Adaptive Mixture-of-Experts Distillation(AMoED)。
該創新框架專為跨衛星泛化增量遙感場景分類而設計,採用高階語義學習方法。 吳教授解釋:「AMoED 並非直接從原始數據流中更新模型,這會加劇對舊知識的抹去。它是透過多個領域專屬專家的協調指導,持續獲取新資訊。」
該過程策略性地開展。首先利用每個源域的數據,獨立訓練領域專屬專家。 隨後,根據無關乎特定域的置信度衡量標準(Domain-agnostic Confidence Measure),以適應性的方式整合專家的預測結果。 這種高階語義學習流程促進了具備強跨域泛化能力的通用類別概念之形成。透過依賴專家指導而非直接接觸海量新數據,模型能夠專注於特定任務的類別更新,而不會嚴重干擾與先前學習知識相關的參數。
創新訓練機制與基準表現
AMoED 採用獨特的聯合訓練策略,以確保穩定地獲取知識。 將範例集(Exemplar Set)與完整訓練數據結合的標準方法往往會導致不平衡,從而引發「任務近因偏誤」(Task-recency Bias)。 為糾正此問題,AMoED 建構了一個均分子集(Equi-partite Subset),將樣本與從新類別中均勻採樣的實例結合,完美平衡數據,同時保持可塑性(Plasticity)與記憶穩定性(Memory Stability)。
此外,該模型透過淺層風格混合(Shallow-layer Style Mixing),應對由地理空間及感應器所導致的偏差。 由於紋理模式與空間結構主要在網絡淺層編碼的差異,這種混合操作能有效減輕學習過程中領域差異帶來的干擾。
研究團隊在 Merced、AID、NWPU 及 PatternNet 四個不同的遙感數據集廣泛實驗,評估了跨越數個地理區域的共享地表覆蓋類型,例如機場、海灘、森林及儲槽。 所提出的 AMoED 方法在不同設定下均持續取得頂尖表現。 吳教授表示:「透過開創領域泛化增量學習的探索,AMoED 在持續演變的數據流中,為未來跨衛星場景分類樹立了關鍵的基準。」
發表於《IEEE Transactions on Circuits and Systems for Video Technology》的完整論文:https://ieeexplore.ieee.org/document/11124203
吳教授研究簡介:https://scholars.hkbu.edu.hk/en/persons/kwok-po-ng

吳國寶教授
理學院



