distributedに関するmkouheiのブックマーク (18)

  • IBM Developer

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    IBM Developer
    mkouhei
    mkouhei 2010/09/15
  • Hadoop Conference Japan 2009 に参加してきました! - (゚∀゚)o彡 sasata299's blog

    2009年11月14日08:26 Hadoop Hadoop Conference Japan 2009 に参加してきました! 最近人気が出てきている、ゾウのマークでおなじみの Hadoop 。日、日で一回目の Hadoop カンファレンスである Hadoop Conrefence Japan 2009 が開催されました。そこで、最近 Hadoop を使っているものとして「これは参加しないとっ!」ということで参加。そのときの内容を簡単にまとめます。 Hadoop入門 PFI の西川さんによる、そもそも Hadoop とは何なのか?何故必要なのか?という話でした。Hadoop とは何か?についてはこの辺を見ていただくとして Hadoop、hBaseで構築する大規模分散データ処理システム(1/2):CodeZine Hadoop、hBaseで構築する大規模分散データ処理システム(2/2):

    mkouhei
    mkouhei 2009/11/16
  • Hadoop Conference Japan 2009に参加しました - developer’s delight

    告知されてすぐ満員となった注目のイベント、"Hadoop Conference Japan 2009"に参加しました。僕は楽天の"なかのひと"としてセッションもやったわけですが、これがなくても見に行ったであろう興味深いイベントでした。楽天のセッションは、サービスでのHadoop利用事例の紹介と技術研究所(@nishiokamegane)からの技術トピックで別れていて、僕は前半の事例紹介を行いました。しかし、会場にいらしていた方はもうすでにHadoopに詳しくて実際に使っている方が多かったようなので、事例を紹介するなら実装の話まで含めた、少し実践的な話をしたほうがよかったなぁと少し反省してます。。。休憩時間にすこし来場者の方とお話させていただいたりしましたが、実に色々な業界の方がHadoopに興味を示し、しかも既に使いはじめているということを知りました。海外だとWEBにとどまらず様々な企業が

    mkouhei
    mkouhei 2009/11/16
  • http://agilecatcloud.com/2009/11/14/

    mkouhei
    mkouhei 2009/11/15
  • Hadoop conference 2009に行ってきました | イベント | キャリア形成のお手伝い | あすなろBLOG

    最近は仕事終えて、速攻で帰宅してから家事と育児の手伝いをしていたりして、どうしてもゆっくりとPCに向かう時間がなくってとっても久しぶりなブログの更新になりました。 今日は午後からHadoop Conferenceというイベントに参加したのですが、参加されている人達の層は自分の予想に反して意外とスーツ来た人が(含む自分)多いなぁというのが率直な所ですが、内容は前半が技術色が強く後半にビジネス的な側面の話という感じがして、自分のような立場の人間からするととってもバランス良く話が聞けて、かつ中身も濃かったので、参加してよかったです。 ※今回会場の提供や運営に関わった皆様、おつかれさまでした&こういう濃い内容のものを実施していただきありがとうございます! Macbook AIrのバッテリが持つ限りでメモを取ったのでいくつか気になった所をピックアップします(長文エントリでごめんなさい) ■Hado

    mkouhei
    mkouhei 2009/11/14
  • ARAKI notes - hadoop conference 2009の後半

    [Elastic MapReduceの話] 大倉努さん ->後半になった. Elastic MapReduceは入出力はS3になる.http://s3sync.net/wiki のRubyのシンクツールが便利.データは複数のfileにわけないと,EC2はジョブをわけてくれない.AWS management consoleで実行,確認ができる.->一般人JSONで指定する elastic-mapreduceがおすすめ.-> プログラマならこっちだろうelastic mapreduceにはamazonのほうでHDFSを用意してくれるので,中間出力はS3ではなく,こっちを使うべき.blogeye.jpでは800GBあったが80台 70時間でokだった.小規模なJobだとMasterはamazonが用意してくれるから安い.わるいところもいろいろ.独自のディスクイメージが使いたかったらEC2で自分で

    mkouhei
    mkouhei 2009/11/14
  • ARAKI notes - hadoop conference 2009 の前半メモ

    [Clounderaの人のビジネストーク] VERTICAがSQLベンダとして最初にきた. Clouderaはコミュから何を学んだか.->むずかしい,(説得,インストール,などなど) Cloudera Distribution for Hadoop (CDH). CDH1,CDH2と進化してきた.CDH2はHbase,Zookeeper, Hadoop0.20.1+152パッチ 75%の新ユーザが利用している.9月の時点ではダウンロード数はapacheの10倍以上. OpenPDC(ストリームセンサDB)でもつかってる. Cloudera Desktop = アプリ開発フレームワーク, 管理コンソール. グラフ機能の実装はもうすぐ.コマンドラインtoolのおきかえではない. Window managerはオソ. desktop-api-subscribe@cloudera.com [楽天

    mkouhei
    mkouhei 2009/11/14
  • Hadoop Conference Japan 2009 - jitsu102's blog

    Hadoop Conference Japan 2009に参加してきました。 米国や日での利用実績などが分かり、参考になりました。 日ではまだトライアルでの運用といった感じですが、はてな楽天などのWebサービスSIerでも利用されており、今後様々なシステムで使われていくのではないかと思いました。 米国Yahoo!の稼働実績などを考えると、十分実用段階だと感じました。 (参加メモ) HadoopとRDBMSのいいとこ取りなHadoopDBが研修されている。 HadoopはRDBMSと競合するものではない。RDBMS(既存システム)との連携を考え、適材適所で使用していく。 情報爆発により、既存システムが限界にきている。情報増加量がサーバのスケールアップでは追い付かなくなっている。(コストでは解決できない。アーキテクチャ的な限界。)その状況で、スケーラビリティ・パフォーマンス・コスト面か

    Hadoop Conference Japan 2009 - jitsu102's blog
    mkouhei
    mkouhei 2009/11/14
  • nginx+squidで画像キャッシュサーバーの作り方 - hideden.hatenablog.com

    仕事で画像キャッシュサーバーを構築した時のメモ。大規模事例の設定例が検索してもあまり見つからなかったので同じような境遇の誰かの参考になれば。 ピーク時のトラフィックは数Gbps 画像総容量は数十TB バックエンドのstorageが複数種類 規模とアクセス量とアクセスされる画像の種類が多いので、squidでdisk cacheを使用するとCOSS等を使用してもdiskIOで詰まる為、全てon memory cache。cache容量を確保する為に必然的にcacheサーバーの台数も数十台。 1. squidをsibling構成で並列に並べる cache_peer 10.0.1.1 sibling 80 3130 no-query no-digest proxy-only cache_peer 10.0.1.2 sibling 80 3130 no-query no-digest proxy-o

    nginx+squidで画像キャッシュサーバーの作り方 - hideden.hatenablog.com
    mkouhei
    mkouhei 2009/11/09
  • Large-Scale Distributed Systems and Middleware (LADIS)

    LADIS 2009 The 3rd ACM SIGOPS International Workshop on Large Scale Distributed Systems and Middleware Co-located with the 22nd ACM Symposium on Operating Systems Principles (SOSP 2009) October 10-11, 2009 Big Sky Resort, Big Sky, MT LADIS 2009 will bring together researchers and practitioners in the fields of distributed systems and middleware to discuss the challenges of building massive cloud c

    mkouhei
    mkouhei 2009/10/21
  • 導入事例 東京大学 情報基盤センター - OpenBlockS

    掲載日:2009/10/20 2009年9月4日、東京大学の小柴ホールにおいて、JST-CRESTによる「実用化を目指した組み込みシステム用ディペンダブル・オペレーティングシステム」研究領域の中間報告会が行われ、最先端のコンピューティング技術のデモンストレーションに、参加者である研究関係者たちの大きな注目が集まった。 JST-CREST「分散ファイルサーバー」に JST-CRESTとは独立行政法人 科学技術振興機構(JST)が支援を行う、我が国の社会的・経済的ニーズの実現に向けた戦略目標に対して設定され、インパクトの大きなイノベーションシーズを創出するためのチーム型研究のことである。 CRESTでは、産官学から横断的に採択された研究代表者が、戦略目標をもとに研究チームを編成し、研究課題の実施を行う。現在CRESTで課題となっている一つとして、SIAC(シングルIPアドレス機構)と呼ばれる必

    mkouhei
    mkouhei 2009/10/20
  • ウノウラボ Unoh Labs: 国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く

    こんにちは。中村です。 MySQLにはMyISAM、InnoDBCSVなどのいくつかストレージエンジンがありますが、皆さんはSpiderというストレージエンジンを聞いたことはありますでしょうか。Spider Storage Engineは斯波健徳さんにより作成されたDatabase Shardingを可能にするストレージエンジンでMySQL 5.1で利用可能です。 先日、某集まりで斯波さんとお会いしたときにSpiderを作っているということを教えてもらったので、早速詳しい内容を教えてもらうことにしました。 ※Spiderについての説明資料はMySQLカンファレンス 2009にて斯波さんが発表されたときのスライドがあります。スライドの直リンク(zip) Spider Storage Engine について posted by (C)フォト蔵 Spider Storage Engineとは?

    mkouhei
    mkouhei 2009/10/02
  • 第4回 memcachedの分散アルゴリズム | gihyo.jp

    株式会社ミクシィの長野です。第2回、第3回と前坂がmemcachedの内部について紹介しました。今回は内部構造から離れて、memcachedの分散についての紹介をいたします。 memcachedの分散 連載の1回目に紹介しましたが、memcachedは「分散」キャッシュサーバと言われていますが、サーバ側には「分散」の機能は備わっていません。サーバ側には当連載の第2回、第3回で前坂が紹介したメモリストレージの機能のみが組み込まれており、非常にシンプルな実装となっています。では、memcachedの分散はどのように実現しているのかと言うと、すべてクライアントライブラリによって実現されます。この分散方法はmemcachedの大きな特徴です。 memcachedの分散とは ここまで数度「分散」という言葉を用いてきましたが、あまり詳しく触れてきませんでした。ここでは各クライアントの実装に共通する大ま

    第4回 memcachedの分散アルゴリズム | gihyo.jp
    mkouhei
    mkouhei 2009/09/04
  • How Google Serves Data from Multiple Datacenters - High Scalability -

    Update: Streamy Explains CAP and HBase's Approach to CAP. We plan to employ inter-cluster replication, with each cluster located in a single DC. Remote replication will introduce some eventual consistency into the system, but each cluster will continue to be strongly consistent. Ryan Barrett, Google App Engine datastore lead, gave this talk Transactions Across Datacenters (and Other Weekend Projec

    mkouhei
    mkouhei 2009/09/01
  • データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ

    サーバを安全に運用する施設として構築されるデータセンターですが、グーグルではそのデータセンターですら"落ちる"ことがあると想定してアーキテクチャを構築しています。 米グーグルが今年の5月に行ったイベント「Google I/O」で、同社のGoogle App Engine datastore leadであるRyan Barett氏が行った講演「Transactions Across Datacenters (and Other Weekend Projects)」のビデオがYouTubeで公開されました。 Barett氏は、担当しているGoogle App Engineのデータベースに関してグーグルが「multihoming」(マルチホーミング)と呼ぶ複数のデータセンターを用いた処理を実現している理由として、データセンターが自然災害や停電に見舞われたり、メンテナンスなどによるデータセンターの

    データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ
    mkouhei
    mkouhei 2009/09/01
  • Opera、Webブラウザ内サーバ機能「Opera Unite」発表

    「Opera Unite」は、サードパーティーのサーバを経由せずにPC同士でコンテンツ交換やチャット、Webサービス運営が可能になるサービスだ。 ノルウェーのOpera Softwareは6月16日、PCにサーバ/クライアント機能を持たせるWebブラウザの新機能「Opera Unite」を発表した。ネット上のサーバを経由することなく、PC同士で直接コンテンツのやりとりができるようになるという。 次期OS「Opera 10」で稼働するOpera Uniteのテスト版(WindowsMacLinux向け)がOpera Labsの記事内のリンクからダウンロードできる。テスト版を使うには、Opera 10 βとOpera IDが必要。 テスト版にはファイル共有、音楽ライブラリのストリーミング、共有メモ、写真共有、チャット、Webサーバという6つのサービスが含まれる。Opera 10でOpera

    Opera、Webブラウザ内サーバ機能「Opera Unite」発表
    mkouhei
    mkouhei 2009/06/17
  • PerlbalでMogileFSを更に高速化、効率化する - builder by ZDNet Japan

    MogileFSのさらなる高速化、効率化 前回「MogileFSで構築する高速スケーラブルな分散ファイルシステム」では、moonlinxで活用しているMogileFSについて説明しました。今回はMogileFSの更なる高速化、効率化を追求してみましょう。 MogileFS活用のために、まずは問題点を把握 素のMogileFSをそのまま利用した場合、ファイルにアクセスするために、クライアントが毎回trackersへ問い合わせをすることになります。これは、trackersはデータベースに全ての情報を格納しているので、毎回データベースを参照することを意味しています。 moonlinxでは、作品メディアファイルのサムネイルも含めてMogileFSに保存しています。そのため、サムネイルが多い画面では1つの画面を表示するために、数十回ほどMogileFSへアクセスすることになります。 trackers

    PerlbalでMogileFSを更に高速化、効率化する - builder by ZDNet Japan
    mkouhei
    mkouhei 2009/04/21
  • MogileFSで構築する高速スケーラブルな分散ファイルシステム - builder by ZDNet Japan

    連載「オープンソースソフトウェアでクリエイターを支援するmoonlinx」の第1回「ウェブメディア「moonlinx」を支えるオープンソースソフトウェア」ではmoonlinxの概要およびシステム構成を、第2回の「openSUSEの管理ツール「YaST」で作業を効率化:moonlinxを支えるOSS」では使用OSであるopenSUSEについて簡単に説明しました。 今回は、moonlinxで取り扱うメディアファイル(画像、音楽、動画)の保管方法について説明したいと思います。 分散ファイルシステム「MogileFS」 moonlinxでは、各種メディアファイルの保管に、オープンソースの分散ファイルシステム「MogileFS」を利用しています。 分散ファイルシステムを用いることにより、ファイルシステムを構成するノード群の一部がダウンしても、データを失うことなくシステムとして機能し続け、かつ自動レ

    MogileFSで構築する高速スケーラブルな分散ファイルシステム - builder by ZDNet Japan
    mkouhei
    mkouhei 2009/04/17
  • 1