ビッグデータ分析ソフトを手掛けるスペインのStratioは、インメモリーのビッグデータ分析ソフト「Spark」の採用事例を公開した（発表資料）。同社は7年以上前から、顧客向けのビッグデータ分析にHadoop MapReduceを使ってきたが、2013年からSparkの利用を始め、今ではMapReduceを完全にSparkに置き換えたという。 同社は2013年までの6年間ほど、MapReduceにリアルタイム処理エンジンの「Storm」を組み合わせたラムダアーキテクチャを採用してきたが、「開発やデプロイ、サポートなどの面で、次第に複雑さが増してきたため、より良い技術を探した結果、Sparkを見つけ、採用することにした」（同社）という。 Stratioは、通信事業者のスペインTelefonicaやホテル事業を手掛けるスペインNH Hotelsといった企業に向けて、ビッグデータ分析基盤を提供して
HadoopはいずれOLTPも実現し、エンタープライズデータハブとなる。Hadoop Conference Japan 2014 7月8日に開催されたHadoopに関する国内最大のイベント、「Hadoop Conference Japan 2014」には、Hadoop創始者のDoug Cutting氏が来日、基調講演「データの未来」に登壇しました。 Cutting氏はデータの重要性の高まり、オープンソースソフトウェアがソフトウェア市場で勝ち残ると指摘し、Hadoopはビッグデータのプラットフォームとしてさらに進化し唯一の存在になるだろうとの予想を披露しました。 Cutting氏の講演をダイジェストで紹介します。 データの未来 Hadoop創始者でClouderaチーフアーキテクト Doug Cutting氏。 私はとてもラッキーだった。開発に関わったいくつかのオープンソースは成功し、みんな
米トレジャーデータのCTOを務める太田一樹氏にインタビューする機会を得た。プログラミングを始めたきっかけや、Hadoopとの出会い、起業についてなど、28歳の若手起業家の素顔に迫った。 米トレジャーデータは、昨今話題となっている“ビッグデータ”の処理基盤を提供していることに加えて、3人の日本人が立ち上げたシリコンバレー発のベンチャーとして、注目を集めている。2013年5月20日には、日本国内での事業展開を本格化すると発表している（関連記事）。 同社が提供する「Treasure Data Platform」は、自社開発技術とHadoop、クラウドサービス（AWS）を組み合わせたビッグデータ処理基盤である。ビッグデータの処理基盤をクラウドで提供している点が特徴だ。大量のセンサデータや購買取引データ、Web閲覧・アプリケーションのログデータなどをクラウド上のデータベースにインポートし、そのデータ
PRESS RELEASE 2012年12月5日 富士通株式会社 世界初！ Hadoopとの連携を実現したCOBOL「NetCOBOL V10.5」を販売開始 並列分散処理により、バッチ処理時間を従来の約18分の1に短縮 当社は、COBOLバッチアプリケーションをApache Hadoop（注1）で並列分散処理し、バッチ処理時間を大幅に短縮する機能を追加したCOBOL開発・運用ソフトウェア「NetCOBOL V10.5」を、本日より販売します。 本製品は、Hadoopとの連携を実現した世界初（注2）のCOBOL開発・運用ソフトウェアです。「NetCOBOL」で開発したバッチアプリケーションや他社のCOBOLで開発されたバッチアプリケーションを、再コンパイルによりHadoopで並列分散処理できるため、お客様は既存のCOBOLデータやアプリケーションに手を加えることなく、バッチ処理時間を大幅に
Jun 20, 201265 likes18,962 viewsAI-enhanced description The document discusses the new version of Apache Sqoop (Sqoop 2), which aims to address challenges with the previous version. Sqoop 2 features a client-server architecture for easier installation and management, a REST API for improved integration with tools like Oozie, and enhanced security. It is designed to make data transfer between Hadoo
This document discusses livedoor's use of Hadoop for large-scale log analysis and web analytics. It describes their Hadoop cluster configuration with 10 nodes and 36 cores. It also outlines their use of Scribe for log delivery, Scribeline as a lightweight Scribe agent, and Shib, a Hive client web application for running queries from a web browser.
(2012/01/10 追記) Cloudera 社から hadoop 1.0 に関する公式ブログ記事が公開されました。そちらの方がより分かりやすく正確に書いています。まずはそちらをご覧ください。 先日 hadoop-1.0 がリリースされたことが巷で話題になっています。 話題になること自体は構わないのですが、この 1.0 が実は 0.20 系の派生だということはあまり理解されていないように見えます。 1.0.0 は従来のバージョンナンバリングポリシーで言えば 0.20.205.1 に相当するものです。 つまり、最新版 0.23 で採用された MapReduce2 を初めとする様々な新機能はこの 1.0 には入っていないということです。 わかりやすく図にしてみました。 よって、新機能を試したいとかいう人には全くおすすめしません。 また、上記の通り既存のバージョンとなんら変わりがないので、た
Hadoop 1.0.0がリリースされた。まあ中身のほとんどはただの 0.20.x 安定板リリースなので特別に言うことはないんだけど。詳しくは以下のblogを読むのがよろしい。 hadoopのバージョン表記について - 科学と非科学の迷宮 ただしひとつだけびっくりしたのは、webhdfsなる機能が入ってきたこと。(このblogでよく話題にしている)Hoopと並んでそんなようなものがあること自体は知ってたけどあんまり興味なかったのだが、Apache Hadoopのパッケージに(Hoopより先に)入ったとなるとちょっと注目せざるをえない。 が、httpfs(Hoop)とwebhdfsじゃ名前も似てて超まぎらわしい。いったい何がなんなの。 なお自分はWebHDFSはAPIリファレンスを読んだだけで、実際にはカケラも触っていない。その状況での理解による内容なので、注意して読んでください。 先に結論
Big Data on Heroku We manage your Big Data. Velocity (500,000 records / sec), Volume (15+ Trillion Records), and Variety (App/Web Logs, Mobile, Automotive, IoT). Super Easy to Start Start pushing JSON records in 3 minutes from anywhere. We provide JavaScript tag for web, SDK for apps, Mobile SDK for iOS / Android, and web uploader for CSV.
Treasure Data Add-On lets Heroku users collect, store and analyze large amounts of data without sinking a lot of time learning about Hadoop, MPP databases and other powerful but time-consuming technologies. With Treasure Data, you can start analyzing your data today, not weeks and months later. We are proven to scale. We store more than 2 trillion data records for our customers, adding hundreds of
----------------------------------------------------------------------------- Hoop, Hadoop HDFS over HTTP Hoop is a server that provides a REST HTTP gateway to HDFS with full read & write capabilities. Hoop is distributed under Apache License 2.0. Hoop can be used to transfer data between clusters running different versions of Hadoop (overcoming RPC versioning issues), for example using Hadoop Dis
Hoop, Hadoop HDFS over HTTP - Documentation Sets 0.1.0-SNAPSHOT Hoop has been contributed to Apache Hadoop and it is available as part of Hadoop 0.23.x releases. For details please refer to the Apache Hadoop site. Summary Enough reading, take me to the Hoop setup instructions. Hoop is a server that provides a REST HTTP gateway supporting all HDFS File System operations (read and write). Hoop can b
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
前に書いた エントリ の通りHoopが有望な感じだったんだけどどのくらいの性能が出るのか見てみないことには本番投入して性能出ませんでした乙、ということになりかねない。ので見てみた。 なお検証に関係する環境としては以下の通り。ちなみに前はCDH3u1で試してたけど、今回はCDH3u2 (JDK6u29) on CentOS5。メモリが問題になることは全くないので全て省略。 ベンチ用サーバ Intel Xeon 4Core HT 2.4GHz データ中継サーバ (deliver) Intel Xeon 4Core HT 2.4GHz Hadoop NameNode (+JobTracker) (namenode) Intel Xeon 1Core HT 3.16GHz Hadoop DataNode + TaskTracker x9 Intel Xeon 1Core HT 3.16GHz Ho
バッチ処理にかける対象ファイルの抽出には中身を見る必要があって、headやtailでいいんだけどhadoop fsコマンドではそういうオペレーションができない*1ので FUSE hdfs でLinuxにHDFSをmountしてやっている。 が、これがまたビルドするのにひと苦労だったりmount元と先が密結合になっちゃったり遅かったりいつまでメンテされるもんかと思われたりするし外部コマンドを起動して結果を読んでゴニョゴニョしたりするのが面倒なのでどうにかしたいなーと思っていたら、Clouderaから Hoop なるプロダクトが少し前にリリースされた。 Hoop - Hoop, Hadoop HDFS over HTTP - Documentation Sets 0.1.0-SNAPSHOT HTTP REST APIを経由してHDFSの内容にアクセスできるし、オペレーションもできる。GETの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
