編集者注記:
Vaibhav Nivargiはデータ分析サービスのプロバイダClearStory Dataのファウンダでチーフアーキテクト。
今週はApache Sparkの、今急速に大きくなりつつあるコミュニティがニューヨークに集まり
自分たちのコラボレーションにより
Sparkが今日のもっとも人気の高いオープンソースプロジェクトに育ったことを祝った。
U.C. BerkeleyのAMPLabで2009年にローンチした
Apache Sparkは、最近の1年半で急激に人気を高めた。
Sparkのコントリビュータは2014年で500名近くになり
Apache Software Foundationと世界中のオープンソースのビッグデータプロジェクトの中で
もっともアクティブなプロジェクトになっている。
われわれも、かなり早い時期から、このクラスタコンピューティングのプラットホームに着目し
もはや自分のソフトウェアをすべてスクラッチで作る時代ではない、と感じていた。
それはインメモリの並列処理により、同じくインメモリのHadoop MapReduceの
100倍速くプログラムを動かすことができ、ディスクを使った場合でも10倍は速い。
これによって複数（〜数10件）のデータソースを瞬時にしてブレンドしたり、統一することができる。