タグ

リアルタイムに関するkimutanskのブックマーク (13)

  • 広告業界と無関係な僕がさっぱり理解できないアドテク用語を調べた。

    厳密には無関係ということはないのですが、僕は直接的に広告に関連のある事業をやっているわけではありません。しかし、最近アドテクの世界が面白くて、基的なことから勉強しています。 インターネット広告はテクノロジーのかたまり インターネットはテクノロジーの世界です。そして、この世界でとても大きなお金を生んでいるのが広告です。 今をときめくGoogleもFacebookも広告で収益を上げている企業です。日でも同様にインターネット広告の市場規模はとても巨大で、1兆円程度とのことです。 必然的に、広告という世界には、インターネットの業界のテクノロジーが結集します。だから、技術的にも、とてもおもしろいです。 広告はどこからやってくるのか? 広告とは、これのことですよね。 そもそもは、これがどうして表示されるのか、というを調べていました。調べてみると、裏側にはとんでもない世界が広がっていました。 純広告

    広告業界と無関係な僕がさっぱり理解できないアドテク用語を調べた。
    kimutansk
    kimutansk 2014/03/31
    複数のレイヤで情報協調、最適が行われているという感じですか。しかもこれがリアルタイムで走っているあたり、背景をもっと知ってみたい気はしますね
  • 『Node.js Cluster+Socket.IO+Redisによるリアルタイム通知システム』

    Node.js Cluster+Socket.IO+Redisによるリアルタイム通知システム | サイバーエージェント 公式エンジニアブログ

    『Node.js Cluster+Socket.IO+Redisによるリアルタイム通知システム』
    kimutansk
    kimutansk 2013/12/27
    大規模で実際にやってみたからこそわかる問題ですか。その上で、修正して本家にパッチ送っているのはいいですねぇ
  • Amazon Kinesisでビッグデータをストリーム処理

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    Amazon Kinesisでビッグデータをストリーム処理
    kimutansk
    kimutansk 2013/12/03
    訳がStormと入れ替えるような翻訳なので微妙・・ですが、クライアントAPIがわかりやすく読めるのでそれはそれでいい内容です
  • ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013

    ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」でした。 Kinesisは、大量に発生するリアルタムデータを漏らさず永続化し、そこから必要なデータをアプリケーションに流すフィルタとして動作するようです。実際のデータ処理は、Kinesisからデータを受け取ったアプリケーションが行います。 2日目の基調講演で披露されたKinesisの説明をまとめました。 Amazon Kinesisを発表 Amazon.com CTO Werner Vogels氏。

    ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013
    kimutansk
    kimutansk 2013/11/18
    「そして他のストレージやStormのようなリアルタイム処理に人気の処理系などと統合し、アプリケーションを作ることができる」と。これでほぼ位置づけは確定ですかね。
  • AWS News Blog

    In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res

    kimutansk
    kimutansk 2013/11/15
    どこからシーケンスを読み始めるかを指定して何度も読める・・・というように読めるので、モデルとしてはKafkaに近い感じなんですかね。
  • 0.36秒で行われるリアルタイム広告取引の世界を描くインフォグラフィック - Exchangewire Japan

    (ライター:編集部) DSPを提供する米Turn社が、興味深いインフォグラフィックを公開しました。デジタルの世界で、リアルタイムの広告取引が0.36秒と、瞬く間に行われていることが描かれています。マーケターが何週間とかけて練るデジタル広告ですが、実際の広告配信にはものの1秒かからないというのには驚かされます。 ExchangeWire Japan 編集長 米国大学卒業。外資系企業を経て2000年にネット広告効果測定ツールを提供するベンチャーに創業メンバーとして参画。その後、バリューコマース株式会社と合併。 2007年1月にオムニチュア株式会社(現Adobe)に参加、コンサルティングサービスを立ち上げる。ビジネスコンサルタントとして米国のベスト プラクティスを日の課題やニーズに合わせて提供、ウェブ解析やガバナンス(データ主導の組織・仕組化)に関する執筆・講演を行う。

    0.36秒で行われるリアルタイム広告取引の世界を描くインフォグラフィック - Exchangewire Japan
    kimutansk
    kimutansk 2013/11/14
    リアルタイム広告が高速なのは知っていましたが、こういう形でブレークダウンされるとそれがよりよくわかりますね
  • バッチ処理を再考する - 急がば回れ、選ぶなら近道

    最近そもそもバッチ処理というものを知らない人達を見ることが多くなりました。某プロジェクトで「いや、ストプロってよくわからないんですよ。最近書いたことないし。」という話をずーっと聞いていたのですが、人はバッチ処理という意味で話していたことが後から判明した、ということがありました。 ああ、この人はSQLでのバッチ処理しか知らないのですね、とちょっと衝撃ではありました。とうとうそーゆー時代になったかと。 まず、誤解のないようにいうとバッチ処理、という言葉自体はIT固有のものではないです。生産管理や物流や、そういった業務では普通に「バッチ」という言葉をIT以外で使います。ただし意味はある程度同じで、「一定の塊を一度に処理をする」ということです。物流システムの業務要件なんかを詰めているとバッチっていうと、どっちのこと?なんて普通に聞かれたりします。その意味ではバッチの対義語がリアルタイムというのは

    バッチ処理を再考する - 急がば回れ、選ぶなら近道
    kimutansk
    kimutansk 2013/09/18
    最近の「素早く処理しますよ」というリアルタイム処理は処理完了時の時制は厳密には過去になるでしょうから、超高速バッチとイコールになる存在と
  • OSS CEP Server 'Norikra' v0.0.1 released! - たごもりすメモ

    みんな大好きFluentdはプラグインも自由に書けて好き放題にリアルタイム集計を行うことが可能なわけですが、やりたい処理にあわせて無限にプラグインを書き続けてるとプラグインの数が爆発し何がどんな処理をしているのかもよくわからず混乱の海に呑まれて消えるという未来がみなさんの脳裏にもおそらく想像されていることと思います。 で、世の中にはCEPエンジンというものがあってストリーム状に流れてくるイベントデータに対して処理を行う仕組みがあるわけですね。これ使いたい! しかもあれだ、簡単に処理が書けるものがいい! 何が言いたいかと言うとWE NEEEED xQL!!!!!!!!!!!!!!! そんなようなことをこちらのエントリを書いたときに思ったわけです。 http://tagomoris.hatenablog.com/entry/2013/02/19/142017 で、RubyKaigiにも通っちゃ

    OSS CEP Server 'Norikra' v0.0.1 released! - たごもりすメモ
    kimutansk
    kimutansk 2013/05/22
    EsperをラッピングしてRPCでアクセスしやすいように仕立てたサーバですか。ブラッシュアップされていくのが楽しみですね
  • 「fluentd」と「Storm」の比較について - Tous Les Jours 攻防記

    まず、両者はかなり性質の異なるプロダクトなので、以下の比較は筋違い。 筋違いであることを前提に、ストリームデータ処理プラットフォームとしての両者を比べてみる。 基情報 fluentd http://fluentd.org/ 今をときめくログコレクター/イベントアグリゲーター。Rubyで実装されているが軽量高速。 RPC基盤ではなく、その下のレイヤーに位置するプロダクト。 Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureで実装されている。 概要については、下記のスライドがとてもわかりやすかった。 Twitterのリアルタイム分散処理システム「Storm」入門 ストリームデータ処理で何をするのかについて ストリームデータ処理のニーズについて、自分が理解している範囲での簡単な説明。 典

    「fluentd」と「Storm」の比較について - Tous Les Jours 攻防記
    kimutansk
    kimutansk 2013/05/08
    この辺の整合性とスピードのトレードオフはどうしても生じてくるんですよねぇ。。。難しいところです
  • 米LinkedInが分散型のデータ変更通知フレームワーク「Databus」をオープンソースで公開 | OSDN Magazine

    ビジネス向けSNSを提供する米LinkedInが、社内開発した更新通知のためのフレームワーク「Databus」をオープンソースで公開した。ほぼリアルタイムでデータベースの変更をキャプチャできるという。 Databusは分散型のデータ変更キャプチャシステム。同社のデータ処理パイプラインの一部として開発された。データソースに依存せず、タイムラインと一貫性を保ちながら新しいレコードの追加、変更、削除といった情報が含まれるデータを提供するという。遅延の少ない伝送レイヤを持ち、ほぼリアルタイムで変更に関する情報を取得、処理できるのが特徴。 変更を監視するデータベースコネクタ、最近の変更を効率的に取得するためのインメモリ・リレー、スナップショットを格納しクエリをかけられるブートストラップサービス、シンプルなAPIを利用して変更を取得するクライアントといったコンポーネントで構成される。データベースコネク

    米LinkedInが分散型のデータ変更通知フレームワーク「Databus」をオープンソースで公開 | OSDN Magazine
    kimutansk
    kimutansk 2013/03/06
    データベースの変更を外付けでリアルタイムに見れるフレームワーク、と。ふむふむ。
  • 【5分でわかる最新キーワード解説】リアルタイム分析ソフト「Jubatus」とは? | エンタープライズ | マイナビニュース

    日々進歩するIT技術は、ともすると取り残されてしまいそうな勢いで進化の速度を高めています。そこでキーマンズネット編集部がお届けするのが「5分でわかる最新キーワード解説」。このコーナーを読めば、最新IT事情がスラスラ読み解けるようになることうけあい。忙しいアナタもサラっと読めてタメになる、そんなコーナーを目指します。 今回のテーマは、ビッグデータをリアルタイムに分析するオープンソースソフトウェア「Jubatus(ユバタス)」。ビッグデータと言えばMapReduceやHadoop、データベースアプライアンスやインメモリデータベースと海外発の製品ばかりが話題になる昨今ですが、このソフトウェアは純日産。これから海外の開発者なども含むコミュニティで磨きがかけられることになる、新しいソフトウェアです。ビッグデータ処理の1つの最先端を覗いてみましょう。 「Jubatus」とは何か Jubatusは、日

    kimutansk
    kimutansk 2012/12/12
    特徴を言い表した記事ですねぇ・「厳密に言えば、結果の精度は全サーバで揃わない」とか。浅くしか知らないからそう思うのかもしれませんが(汗
  • Charming Python: Functional programming in Python, Part 3

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    Charming Python: Functional programming in Python, Part 3
    kimutansk
    kimutansk 2012/12/11
    Stormもあるんですが、この手の記事って他のプロダクトの一覧も乗っているのがおいしいところです。全部知っているわけではないので。
  • リアルタイム通知システムの舞台裏 - YAPC::Asia Tokyo 2012 [SEPTEMBER 27,28 & 29th]

    TwitterのUserStreamsや、facebookのいいね!の通知など、リアルタイムでユーザーにイベントや更新内容を通知する仕組みはすでに一般的なものとなりました。 しかし、作る側を考えてみると、ユーザーごとに異なるコンテンツをリアルタイムに、しかもスケーラブルに配信する仕組みはそう単純ではありません。 このトークでは、リアルタイム通知の舞台裏として、某スマートフォン向けメッセンジャーアプリの裏側を紹介します。

    kimutansk
    kimutansk 2012/10/02
    RabbitMQの「MQ」てそーいえば何の略なんでしたっけ(汗 ZeroMQとかもありますが・・
  • 1