タグ

fluendに関するfumi1のブックマーク (15)

  • バズワードの先へいく“ビッグデータ” 「データ解析をもっとシンプルに」トレジャーデータCTOに聞く

    人3人がシリコンバレーで起業した「トレジャーデータ」は、データの収集・保管・分析を一貫して行うクラウド・ソリューション「Treasure Data Service」をエンタープライズ向けに提供する企業だ。分散処理を行うミドルウェア「Hadoop」や自社開発のデータベースを組み合わせたプラットフォームは、素早い実装と拡張性、安定性が評判を呼び、創業から約3年で100社以上に導入されている。 ビッグデータという言葉はビジネス用語として定番となりつつあるが、データの管理の負担が大きいなど、フルに活用できている企業はまだ少ない。世界でも注目されるスタートアップの1つである同社を率いる創業者の1人、CTOの太田一樹さんにビッグデータビジネスの今後の展望などについて聞いた。 データ解析をもっとシンプルに 「Treasure Data Service」の導入先は現在120社程度、そのうち約4割が日

    バズワードの先へいく“ビッグデータ” 「データ解析をもっとシンプルに」トレジャーデータCTOに聞く
  • Fluentd UI - Go ahead!

    fluent/fluentd-ui Fluentdのエコシステムの一つとして,Fluentd UIをリリースしました. すでに試してくれたユーザもいるようなので,現在の使用感などは下記の記事を参考にしてください. Fluentd UIが出たので触ってみた Touch the fluentd-ui(1) この記事ではFluentd UIそのものについてつらつらと書きたいと思います.英語でのアナウンスもいずれ公式ブログに載るはず. Fluentd UIの生い立ち Fluentd UIの背景として,Fluentdも最近は国を問わず色々な所でユーザが増えてきており, 「CLIとか楽勝!」以外のユーザの割合も増えつつあります. ログコレクタでリッチな管理UIを持っているプロダクトってほとんどないと思うのですが, 新しく使い始めるユーザの嵌まり所とか見ていると, GUIの方が始めるための敷居が下がりそ

    Fluentd UI - Go ahead!
    fumi1
    fumi1 2014/08/05
  • FluentdとRedisを使ったランキング機能の実装 | SmartNews開発者ブログ

    ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等)も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい

  • S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ

    ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999%”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお

  • Treasure Dataのサービスはクラウド上でどう構築されているのか(後編)~July Tech Festa 2013

    Treasure Dataのサービスはクラウド上でどう構築されているのか(後編)~July Tech Festa 2013 Treasure Dataといえば、日人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 この記事は「Treasure Dataのサービスはクラウド上でどう構築されているのか(前編)~Japan Tech Festa 2013」の続きです。 データを解析する「Plazma」の仕組み データを解析するところでは「Plazma」と呼ぶ、Hadoopのエコシステムとカラムストアなどを組み合わせたものを用いています。

    Treasure Dataのサービスはクラウド上でどう構築されているのか(後編)~July Tech Festa 2013
    fumi1
    fumi1 2013/08/05
  • Treasure Dataのサービスはクラウド上でどう構築されているのか(前編)~July Tech Festa 2013

    Treasure Dataのサービスはクラウド上でどう構築されているのか(前編)~July Tech Festa 2013 Treasure Dataといえば、日人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 注目されているクラウドサービスがどのような仕組みになっており、それはどのような考え方で作られているのか。クラウドでシステム構築を考えている多くのエンジニアの参考になるはずです。講演の内容をダイジェストで紹介します。 Treasure Dataのクラウド戦略 Treasure Data, Inc。シニアソフトウェアエンジニア 中川真宏氏。 スタートアップなこともあ

    Treasure Dataのサービスはクラウド上でどう構築されているのか(前編)~July Tech Festa 2013
    fumi1
    fumi1 2013/08/05
  • “シリコンバレーの技術者集団”ではトレジャーデータを見誤る (1/5)

    シリコンバレーの日人ベンチャーとして注目度の高いトレジャーデータのCTOである太田一樹氏とのインタビューが実現した。CEO芳川裕誠氏の家のベランダと熱海の温泉で始まった会社の起業物語やサービスのポイントなどを聞いた1時間のインタビューをほぼ加工なしで掲載する。 Hadoopのポテンシャルを感じ始めたときに声をかけてもらった TECH.ASCII.jp 大谷(以下、TECH 大谷):太田さんというと、Hadoopの人というイメージがありますが、そもそものバックグラウンドを教えてください。 トレジャーデータ 太田氏(以下、TD 太田):はい。もともと私のバックグラウンドはHPC(High Performance Computing)のエリアで、19歳くらいからあまり学校にも行かず(笑)、プリファードインフラストラクチャという会社のCTOをやらせていただきました。あと、米オレゴンの国立研究所で

    “シリコンバレーの技術者集団”ではトレジャーデータを見誤る (1/5)
  • fluent-plugin-sampling-filter and fluent-plugin-datacounter released! #fluentd - たごもりすメモ

    Fluentd において特定パターンのデータをもっているメッセージ数をカウントする、およびメッセージ数に対してパターンごとの割合を算出する fluent-plugin-datacounter をリリースしました。また fluent-plugin-datacounter のようにメッセージの傾向を算出するためのプラグインに入れるデータを作るため、全メッセージからサンプリングを行う fluent-plugin-sampling-filter もリリースしました。 fluent-plugin-datacounter | RubyGems.org | your community gem host fluent-plugin-sampling-filter | RubyGems.org | your community gem host fluent-plugin-sampling-filter

    fluent-plugin-sampling-filter and fluent-plugin-datacounter released! #fluentd - たごもりすメモ
    fumi1
    fumi1 2013/06/28
  • FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる - Glide Note

    最近ようやく仕事でガッツリFluentdとMongoDBを触るようになってちょっとハマったことが あったので誰かの役に立つかも知れないので書いておく。 Fluentd界隈は開発が活発なので、数ヶ月後にはこの記事の情報も恐らく古くなっているのでご注意ください。 結論 書いてたら長くなってしまったので先に要点というか結論を書いておく。 apache => fluentd => MongoDB とapacheのアクセスログをMongoDBに入れたときにcodeやsizeといった数値が文字列(string)として入っていた td-agent.confのformatを自作すると、時間以外のフィールドが文字列(string)として扱われる fluent-plugin-typecastを利用することでcodeやsizeといった特定のフィールドを、stringやintegerなどの任意のデータ型に変換可能

  • Fluentdでparser用の正規表現を書く・試す - たごもりすメモ

    こんなエントリを目にしたので、なんか書こうかなと思った。 fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note - グライドノート Fluentd の in_tail や拙作 fluent-plugin-parser ではログのparse用の正規表現を指定することになるが、確かにこれを設定してログを流して試して直して、というのはいささか効率が悪い。ので、簡単に試す方法を書いてみる。 なお irb を使う手順。ruby 1.9系がインストールされていればたぶん入っているけれど td-agent だとちょっとどうだっけ。適当にがんばっていただきたい。 とりあえず以下のようなログをparseしたいとする。 Jul 16 00:45:47 BJA login[58879]: USER_PROCESS: 58879 ttys002irbを起動

    Fluentdでparser用の正規表現を書く・試す - たごもりすメモ
    fumi1
    fumi1 2013/06/26
  • fluentdの簡単な使い方、設定方法一覧

    fluentdはログの転送・集約を簡単に行うためのツール fluentd ログの転送・集約を行うためのツール。複数台のサーバーを運用している時にそれぞれのサーバーにたまるログを、簡単な記述で特定の場所に集約できる。 今までは同じことをどうやって実現していたの? バッチでコピーしたり、似たようなことをやるScribeというツールを使っていた。この方法だと、設定が複雑になりがちだし、バッチだとリアルタイムに処理することができなかった。 fluentdの利点は? 設定が簡単、かつリアルタイムに処理できること。fluentdを使うとバッチではなくリアルタイムなストリーミング処理ができる。 fluentとfluentdのどっちの読み方が正しいの? 一応、fluentdが正しいっぽいです。 fluentdのインストール方法 簡単なのは、GemやRPMを使ったインストール。yumでのインストールも自分で

    fumi1
    fumi1 2013/06/26
  • Search event logs using Fluentd and Kibana - Go ahead!

    Search event logs using Fluentd and Kibana Apr 17th, 2013 | Comments Fluentd is a flexible and robust event log collector, but Fluentd doesn’t provide own datastore and Web UI. So if you want to search stored event logs, then you can use Kibana and ElasticSearch :) ElasticSearch is a easy to use Search Engine and Kibana is a great Web UI for ElasticSearch with LogStash format. Setup Pre requiremen

    fumi1
    fumi1 2013/06/26
  • fluentdのtailプラグインを使ってログを収集してみる

    MongoDBのReplica SetsをUbuntuで試してみる | shinodogg.comで立てた MongoDBにApacheのログを突っ込みたいわけなんですが、 何かとFluent(https://github.com/fluent/fluentd)がアツそうなので試してみます。 ↓こちらのブログを参考にさせていただきました。 イベントログ収集ツール fluent を試しに使ってみる | 文字 ■ fluentdのインストール RubyGemsを使ったインストールをしてみます。 諸事情で自分のUbuntuはまっさらな状態になったので、Ruby入れて、RubyGems入れてから、 # apt-get install ruby1.8 # apt-get install rubygems gem用にプロキシの設定を入れてやって # vi ~/.gemrc http_proxy: ht

    fluentdのtailプラグインを使ってログを収集してみる
    fumi1
    fumi1 2013/06/26
  • 【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリー

    id:stanaka がはてなで使って居るログフォーマットが LTSV だよーとブログに書く Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog Web界隈のエンジニアたち、特にログとか、#fluentd 関係者がざわつく 「ざわ・・・ざわ・・・」 @t_wada 「Unix 哲学の大事な点が形になっていると思う。素晴らしい。」 @hotchpotch 「cool」 六木、渋谷、白金台方面から京都へ熱い視線が送られる id:naoya がただ vagrant + chef を使いたいがために LTSV に乗っかる GrowthForecast を使っていたため GF の中の人が反応する @kazeburo 「[growthforecast]」 id:naoya が勢いで Text::LTSV を作る あまり反応がないのでしょ

    【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリー
  • イベントログ収集ツール fluent リリース! - Blog by Sadayuki Furuhashi

    こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました! Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です:イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め

    イベントログ収集ツール fluent リリース! - Blog by Sadayuki Furuhashi
    fumi1
    fumi1 2011/09/30
    最初の資料
  • 1