はじめまして。今年の5月に入社した勝間@さがすチームです。 入社してからは、なかなか大変なことも多いですが、最近はお酒好きが集まって月曜から飲み合う 「勝間会」なるものも発足して、仕事面でも仕事以外の面でも密度の高い毎日を過ごしています！ さて、僕は「さがす」チーム所属ということで、普段はレシピを「さがす」ユーザの満足度を上げるために、 クックパッドの検索まわりについて、いろいろな開発を行っています。 一方で、ユーザの「さがす欲求」について深く知るために、大規模なデータ解析を行い、欲求の分析を行う機会も増えてきました。 ところが、クックパッドのログは膨大な数があるので、一口のデータ解析と言っても通常のバッチ処理だと間に合わないため、 分散処理環境の必要性が高まってきました。 そこで、まずは手軽に試せる分散処理の王道ということで、最近ではHadoopを使ったデータ解析環境を整備しています。

2日目の発表も終えました。資料を公開します。 はてなブックマークのシステムについてView more presentations from Naoya Ito. 今日も少し駆け足気味でした。YACP::Asia 2009、今年も楽しかったです。Hackathon 出ずに京都に戻らなければならなかったのが悔やまれます。 発表の様子 撮影: id:hirose31

古くなったノートパソコンやデスクトップパソコンに、お気に入りの映画や音楽、データファイル、さらにシステムバックアップもして、自分のメディアセンター＆バックアップサーバにできたらいいと思いませんか？　『Amahi』をインストールすれば、そんな構想も夢じゃなくなりますよ。 『Amahi』は、 Fedora Linux systemにインストールすると、データ保管庫にもなるのですが、自分だけのホームデータサーバのような使い方もできるのです。自分のネットワークからアクセスできるWEBインターフェースを使えば、映画や音楽を聞いたり（iTunes や他のプレイヤーでストリーミング再生も可能）、写真を見たり、カレンダーやOutlookにもアクセスできます。もちろん、必要な時に保存している昔のデータを開くこともできます。 また、『Amahi』は自分のネットワークのVPN設定をすることもできるので、VPNの

2009年08月13日15:00 カテゴリ書評/画評/品評iTech 後悔なき公開 - 書評 - 4Gbpsを超えるWebサービス構築術 ライブドア櫛井様より献本御礼。 4Gbpsを超えるWebサービス構築術 伊勢幸一 / 池邉智洋 / 栗原由樹 / 山下拓也 / 谷口公一 / 井原郁央 元取締役であるという立場を離れて言う。本書の内容は、すごいものが本当に多すぎる。本書を紹介しているだけの本エントリーに対して、対象となっている本を読まずに、批判コメントや自分の意見を書くのは、4Gbpsを超えるWebサービスを構築してからにしろ。 本書「4Gbpsを超えるWebサービス構築術」は、日本を代表するWebサービスプロバイダー、livedoorの手口公開。「親バカ」を差し引いても、その凄さは「[24時間365日]サーバ/インフラを支える技術」を凌駕すると言える。 目次 - ソフトバンク クリエイ

少ない人員の企業が新たなWebサービスを軌道に乗せるには、想定している以上の費用が掛かる。このバックヤードを支える手法として、クラウドを使ったシステムの構築は、今や有力な選択肢になりつつある。 1997年に視察の一環でシアトルにある米Amazonの本社を訪問したことがある。当時のAmazonはすでに世界最大のネット書店だった。それから10年あまりが経ち、現在は世界最大のレンタルサーバ会社という顔を持つようになった。 「Amazon EC2（Elastic Computing Cloud）」はクラウドコンピューティング関連の事例において、筆頭に出てくる環境だ。本稿では、既存のホスティング会社からAmazon EC2に移行した経験に基づいて、エンドユーザーの視点で「レンタルサーバ」としてのAmazon EC2の実力を俯瞰する。 初期費用が重くのしかかるホスティング わたしが代表を務めるピーポー

こんにちは、櫛井です。 来る8月21日に、弊社のエンジニア達が執筆した本が発売になります。今回は執筆者を集めてインタビューをしてみましたので、その様子をお届けしたいと思います。インタビューするまでは「技術書読んでもわからないので今回はいいや」と思ってましたが、思いがけずディレクターにも関係ありそうな内容なので早速予約注文してみました。 ■概要 4Gbpsを超えるWebサービス構築術 著者：伊勢 幸一 販売元：ソフトバンククリエイティブ 発売日：2009-08-21 クチコミを見る ◆livedoor BOOKSで購入できます タイトル：4Gbpsを超えるWebサービス構築術 著者：伊勢 幸一,池邉 智洋,栗原 由樹,山下 拓也,谷口 公一,井原 郁央 (各プロフィールは本エントリの末尾に記載しております) 内容：実際のサービスでの適用手法を例として、快適なWebサービスを実現するための最重

MySQLのレプリケーションは非常に簡単に使える割には応用の幅が広いので非常に人気のある機能の一つである。レプリケーションの応用分野は例えば、 バックアップ 参照系の負荷分散 HA（高可用性） ディザスタリカバリ（サイト間レプリケーション） BI（レポーティングetc） という風にとても多くのバリエーションがある。このブログを読んで頂いている皆さんの中にもレプリケーションを使っている方は多いのではないだろうか。ご覧の通りMySQLのレプリケーション機能はミッションクリティカル分野でも利用されているが、レプリケーションの使い方が適切でないとシステムの安定稼働に支障を来してしまってDBAやシステム管理者の肉体的、精神的負担が増大してしまう。逆にレプリケーションを堅牢に運用することが出来ればマクラを高くして眠れるというものだ。レプリケーションはMySQLの代表的な機能であるので、レプリケーション

サーバのマシン性能は十分でも、コンテンツの転送時間がボトルネックとなってパフォーマンスが出ない場合がある。このようなときの対処法として、コンテンツの圧縮転送がある。（編集部） 前回に引き続き、Apacheのパフォーマンスチューニングについて解説します。今回はナローバンドで効果を上げる、コンテンツ圧縮機能を取り上げます。 回線のボトルネック解消 ブロードバンドが広く普及したとはいえ、携帯インフラなど依然ナローバンドが主流の分野もあります。そして、Webサーバ自身のパフォーマンスよりも、回線のボトルネックがレスポンスに大きく影響を及ぼすことがあります。例えば、ダイヤルアップで多くのユーザーがApacheに接続した場合、1つの接続が占有するCPU時間が長くなるため、同時接続数が増大する傾向にあります。 このような場合は、限られた回線帯域を有効に利用するために、送信データの圧縮転送で状況の改善を図

前回はWindowsでのサーバやPCのボトルネック箇所の簡単な見分け方をご紹介させていただきましたが、要望がありましたので今回はLinuxの場合をご紹介いたします。 4つの主要ボトルネック要素の復習です。 サーバやPCには4つの主要ボトルネック要素があります。このいずれかがボトルネックとなった場合システム全体のレスポンスが低下します。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 Linuxにおいてはボトルネック箇所を以下のように見分けることができます。 1. CPU使用率 CPU使用率が常に100%に近い場合はCPUがボトルネックであることが判明します。CPU使用状況を簡単に調べるには3つの方法があります。「top」「w」「vmstat」コマンドを使う方法です。 -----------------------------------------------------