Gartnerによると、2016年には全企業の73%がビッグデータに投資していると思われるが
しかしそれでも、大半の企業はビッグデータのメリットを十分に生かすことができない…
彼らはビッグデータを十分に管理できないからだ。
Sparkは今多くの企業や団体が採用しており
2014年のGray Sort Benchmark、Daytona 100TBカテゴリーではソートの世界記録を樹立した。
ビッグデータを扱う場合Sparkには、Hadoopとの互換性という利点もあり
また、そのリッチなAPIにより、JavaやPython、Scala、それにSQLなど、人気の高い言語で
ソフトウェアのコードをよりシンプルに書ける。
構造化データと非構造化データの両方を扱え、機械学習やデータマイニングもサポートしている。
Sparkを全面的に統合したアプリケーションは、さまざまな分野の企業の指導者たちに
反復的データ集合の巨大なワークロードを、これまでに彼らが想像したことがないほど高い効率性で処理して
そこから得られるインサイトを提供する。
どんなに大きくて複雑なデータに対しても、われわれはSparkによって初めて、データを探究する自由を獲得する。
企業内で日々、あちこちに数多くの‘データの孤島’が肥大していても、もはや臆する必要はない。
(全文はリンク先で)
以下ソース
http://jp.techcrunch.com/2015/03/20/20150319on-the-growth-of-apache-spark/