Aster Data Systems最近發布了應用于數據庫的MapReduce,這是其nCluster數據庫的一個組件。
InfoQ已經詳細 介紹了MapReduce,它最初是由Google工程師引入的一種編程模型,旨在提供一種可伸縮的方法來處理大數據集。
nCluster是由Aster推出的一個高并行處理(MPP)數據庫。其網站這樣描述了nCluster的并行架構:
Aster nCluster構建于獨特、多層的nCluster架構之上,它包含三種獨立的節點類:Queens、Workers及Loaders。針對分析處理,該三層設計將角色完全隔離并封裝起來。每層都可以獨立擴展以響應負載變化——當需要時擴充容量(Workers)、加載帶寬(Loaders)或者執行并發(Queens)。
Aster nCluster提供的MapReduce實現利用相同的架構,為數據庫中執行MapReduce計算留有了余地:
就像針對標準SQL查詢的高并發執行環境一樣,Aster nCluster為數據庫中的并行數據分析及傳輸實現了靈活的MapReduce函數。Aster nCluster應用于數據庫的MapReduce函數很容易編寫,而且可以與SQL語句無縫集成。它們依靠SQL查詢來操縱底層數據并提供輸入。該函數可以操縱輸入數據并提供輸出,而這些輸出又可以被SQL查詢使用或者寫到數據庫表中。
SQL/MR是由Aster引入的一個特殊的SQL MapReduce函數庫,可在nCluster平臺中用來調用map-reduce算法。Aster支持多態函數和動態類型,同時MapReduce計算可用Java、Python、C++等語言開發。
請訪問Aster Data Systems站點以了解有關應用于數據庫的Map Reduce及nCluster數據庫的更多信息。
查看英文原文:Aster In-Database MapReduce
