注目が集まるビックデータ分野を支える技術の本命は、オープンソースの分散処理ソフトHadoopだろう。Hadoopは、Googleが唱える大規模データ処理方式を実装したオープンソースソフトウェアで、テラバイト～ペタバイト級のデータの蓄積・処理を得意とする。

会員になると、いいね！でマイページに保存できます。 Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「MapReduce」と分散ファイルシステム「HDFS」の組み合わせです。最近ではYARNと呼ば ...

8月4日、 六本木ミッドタウンのヤフー株式会社にて、 今回で2回目となるHadoopをテーマにしたイベント 「Hadoop Hack Night Vol. 2」 が開催された。 Hadoop （ハドゥープ） は、 いま注目のクラウドコンピューティングなどに利用されているMapReduce技術が使える ...

Microsoftは2018年9月「SQL Server」がリレーショナルデータ以外のさまざまなデータモデルも扱えるようになると発表した。 同社は、データ分析フレームワークの「Apache Spark」（以下、Spark）と、分散処理フレームワーク「Apache Hadoop」（以下、Hadoop）用の「Hadoop ...

Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは ...

業界ではビッグデータやアナリティクスがもてはやされ、やや過熱気味だが、先週都内のホテルで「Teradata Universe Tokyo 2014」を開催したTeradataもそれらを追い風とし、着実な成長を遂げている。 7年前、NCRからスピンオフしたTeradataは、世界の大手金融、通信 ...

米国カリフォルニア州パロアルト（現地時間2013年4月30日）-Clouderaは本日、Hadoopクラスタに格納されたデータをリアルタイムに分析する、インタラクティブなクエリエンジンのオープンソース製品「Cloudera Impala」を一般公開（GA版リリース）すると発表しまし ...

さて次に、具体的な機能面の違いを見ていく。 Hadoopでは、複数のDataNodeでデータの処理を行い、このDataNodeの管理をNameNodeが行う仕組みになっている。 Hadoop 1.x系で弱点といわれていた点に、NameNodeが冗長化されていないことがある。NameNodeが1つしか存在し ...

EMCジャパン株式会社は29日、HDFS（Hadoop Distributed File System）をネイティブサポートした「EMC Isilon」の提供開始を発表した ...

「Apache Hadoop」とそれに関連する「Hadoop Distributed File System」（HDFS）は、ビッグデータ環境におけるストレージと分析に広く使われている。だが、HDFSには、データ保護機能の弱さ、必要なリソースや学習すべき物事の多さなど、幾つかの制限がある。 企業が ...