タグ

prestoに関するmooonymannのブックマーク (6)

  • Treasure Data Update 2015 - Presto - Qiita

    Treasure Dataではfluentd, 各種SDK, Data Connectorなどで収集されたデータに対して、Hive, Prestoによる分散SQLクエリが実行できます。特にPrestoはこの1年で大きく進化しましたので、ここでその内容について紹介していきたいと思います。 Prestoクエリの利用量は増え続けていて、2015年12月現在、Treasure Dataの利用統計では、 1日あたり5万クエリ (月換算で150万クエリ) 1日あたり10兆 (10 trillion) レコード を処理しています。2015年の始まりの時点では、1日あたりおよそ5000クエリ、1兆レコードという数字でしたので、この1年でほぼ10倍になった計算になります。昨年末のPrestoサービスの開始にあたり、CTOの太田と相談して10倍スケールできるように準備をしていたのですが、想定していたより早くこ

    Treasure Data Update 2015 - Presto - Qiita
  • Using Presto in our Big Data Platform on AWS

    by Eva Tse, Zhenxiao Luo, Nezih Yigitbasi @ Big Data Platform team At Netflix, the Big Data Platform team is responsible for building a reliable data analytics platform shared across the whole company. In general, Netflix product decisions are very data driven. So we play a big role in helping different teams to gain product and consumer insights from a multi-petabyte scale data warehouse (DW). Th

    Using Presto in our Big Data Platform on AWS
  • Presto コネクターを実装する 第一回 | TECHSCORE BLOG | TECHSCORE BLOG

    こんにちは。松です。 弊社ではマーケティングや CRM 関連の SaaS を開発/運営していますが、近年、この領域で利用するデータの規模がますます大きくなっています。またそれに伴い、データの格納先も従来のように「RDB のみ」というわけにはいかず用途によって様々に分かれてきています。 しかしこれらのデータをシステム上で統合して扱おうとすると、その方法に頭を悩ませます。Hadoop/HDFS ベースにデータを集め、Hive 等を使ってバッチ処理させるというアプローチも良いですが、お客様やプロダクト企画チームからの期待は「よりインタラクティブ」な処理です。 Facebook 社によって公開されたオープンソースの分散処理基盤である Presto はこういった課題に対するソリューションです。 そこで今回は Presto のインストール方法について記事を書こう・・・と思ったのですが、スズキ編集長か

  • 『Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました』

    (この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo

    『Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました』
  • 『Prestoとは何か,Prestoで何ができるか』 - トレジャーデータ(Treasure Data)ブログ

    トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 Hadoop Conference Japan 2014 以前に告知したHadoop Conference Japan 2014で,弊社Software Architectの古橋が発表しました。 テーマは,Facebookが公開した新しい分散処理基盤,Presto。実はFacebookが彼らの超大規模なデータセットに対してインタラクティブに結果を返せるようにと開発されたものです。開発が始まってまだ2年も経っておりませんが,今ではトレジャーデータを初めとして多くのハッカー達がコミッターとして参加する活発的なプロジェクトに成長しています。 PrestoはHiveやImpalaと同じ「SQL Query Engine」であり,特に数百GBを超える大規模データに対してもインタラクティブなレスポンスを(コンマ0秒以下,遅くて

    『Prestoとは何か,Prestoで何ができるか』 - トレジャーデータ(Treasure Data)ブログ
  • bitbucketの使い方

    Elevate your software delivery from planning to production and beyond, with built-in AI, CI/CD, and a best-in-class Jira integration.

    bitbucketの使い方
  • 1