基于MapReduce技術的Argo浮標剖面信息融合算法
蔣華 胡瑩
針對目前Argo浮標剖面以單一浮標為分析單元造成的分析不全面,以及單機處理造成的計算時間長且復雜等問題,提出一種以經緯度網格單元為分析對象,采用MapReduce技術與主曲線相結合的信息融合算法。在Map階段,從大量數據文件中提取Argo浮標的有效信息,并對所提取的有效Argo剖面信息進行經緯度劃分。在Reduce階段,生成各劃分區域Argo浮標主剖面:首先對數據進行歸一化處理,然后利用K主曲線理論獲得由少量剖面點和折線組成且包含區域剖面特征的主剖面,從而實現海量Argo浮標的信息融合。通過全球Argo浮標樣本數據對所提算法進行驗證,新的信息融合算法在投影距離為0.03~0.10時殘差均值小于0.1,且相比傳統的單機處理方式,存儲空間節約99.4%,計算速度提升36.4%。驗證結果表明,所提算法在保證生成主剖面準確度的同時節省了極大的存儲空間,提高了計算速度。
