Gearmanサーバがどんな状態なのかチェックしたりするのに、Telnetでtext-baseなプロトコルで操作ができる。 基本的な使い方 まずはGearmanサーバの起動。 $ gearmand -d-dオプションはデーモン起動。デフォルトで7003番portを使うので、ここでtelnetでlocalhost:7003に繋いでみる． Administrative Protocolでサポートされているコマンドは以下。 workers status maxqueue version shutdown $ telnet localhost 7003 Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. workers 5 127.0.0.1 - : . status . version 1.11 shutdo
21. Zend_Queue ・ZF1.9にて追加されたコンポーネント、 クライアント・ラッパー的なクラス (これ自体にジョブキューシステムが share/php/Zend/Queue |-- Adapter 備わってる訳ではない) | |-- Abstract.php | |-- Activemq.php ・ZFらしく各種アダプターが用意されている AdapterAbstract.php | |-- | |-- AdapterInterface.php ・Array(主にデバッグ用) | |-- Apachemq.php ・Zend_Db | |-- Array.php ・Memcacheq | |-- Db | | |-- Message.php ・Apache ActiveMQ | | |-- Queue.php - Zend_Queue_Stompを使用 | | |-- mysql
今日は、Gearman workerのmanager(workerプロセスいっぱい作ったり、管理したりするようなひと)を作っていました。ところで、Gearman::Workerを使っている場合、Gearmanのworkerは、こんな風に登録します。 use Gearman::Worker; my $worker = Gearman::Worker->new; $worker->job_servers('127.0.0.1'); $worker->register_function('funtion name' => sub { my $job = shift; # ... do something ... }); しかし、このように普通に登録してしまうと、Gearman::Jobのインスタンスひとつがわたってくる関数を登録するしかなくて、階層的にfunctionを構成することが難しい。僕と
October 27, 201021:13 カテゴリ 刺身さんがジョブサーバーの件 http://d.hatena.ne.jp/a666666/touch/20101027/1288117907 おれならどうするか考えてみた。 gearmanでは途中でジョブをキャンセルするのは厳しいので、自前で簡単なジョブサーバーをtsvrpcあたりでゴリゴリと書くです。いろいろ既製品で頑張るより、一からかいた方が楽そうだわ。 perlの場合は、スレッドが使い物にならないので、ジョブワーカーの途中停止とかやりたければ、シグナルとかでやるかなあ、と。SIGUSR1でも送るんじゃないかなあ。 ジョブワーカーと、ジョブルーターを一つのホストに対で配置する感じの構成で。 途中経過をワーカーからルータに通知するようにすれば、プログレス表示もできるし。 スケールアウトは容易な構成になってると思う。 ジョブを分割するの
Gearman のメーリングリストに興味深いポストがあった。僕も色々な意見を聞いてみたいと思ったので、多くの人の目に触れることを期待して紹介する。 Google グループ ウェブサイトに画像をアップロードすると、異なるバックエンドサーバが画像を処理する。まずリサイズし、それから顔認識をする。 一つ目の要求として、処理結果が期待通りかどうかユーザーに確認させたい。顔認識が不要であればリサイズした画像を、顔認識が必要ならばその処理が施された画像を、確認画面に表示したい。つまり、アップロード操作の完了には一つまたは二つのステップを踏む必要がある。 この要求を満たすために同期処理も検討したが、バックエンドサーバがダウンするとウェブアプリケーションサーバも巻き添えを食うため採用したくない。 ウェブアプリケーションのプロセスは Gearman にリサイズ処理を非同期ジョブとして送信し、リサイズ処理のワ
tokuhiromのgearman の worker process にスコアボードをつけてみる (git) のスコアボードをネットワーク越しに確認できるようにしてみた。 git: http://github.com/kazeburo/gearman-starter.pl 具体的にはworkerのloopに入る前に指定したportをlistenするプロセスをforkして、そいつにアクセスすることで、ステータス(スコアボード)を取得できる。 ステータスを表示するために—port と —listen の2つのオプションを追加した。起動は % perl -Ieg/lib ./gearman-starter.pl -s 127.0.0.1:7004 --scoreboard-dir /tmp/test --listen localhost --port 7005 MyWorker な感じ。teln
概要 Perlの非同期処理システムとしてTheSchwartz / Gearmanを非常に便利に使っているのですが、いい感じにワーカープロセスを管理したかったので、WorkerManagerなるものを作ってみました。作ったのは実は1年以上前なのですが、ようやくの公開です。 基本は、Apacheのpreforkモデルを踏襲しています。特徴は、 子プロセスを複数起動させて、ジョブを並列実行 一定回数のジョブを実行したら、子プロセスを再作成 クラスを定義するのみでジョブを実行 TheSchwartz / Gearmanの切り替えを最低限の変更で実現 ワーカープロセスの安全な停止(プロセス停止の際に、実行中のジョブの終了後に終了) ジョブの実行時のタイムスタンプをジョブ投入からの遅延をログに保存 というあたりです。preforkモデルなので、あまりモダンな設計ではないですが、gdbでのデバッグの容
gearmanのHTTPプロトコルを試してみようと思ったところ、だいぶハマったのでメモを残しておく。 gearmand起動オプションの注意点HTTPプロトコルのサポートはバージョン0.8から含まれており標準で有効になっているはず。確認するには、--helpで"http Options"が含まれているかチェック。 $ gearmand --help gearmand 0.10 - https://launchpad.net/gearmand usage: gearmand [OPTIONS] ... 略 libmemcached Options: --libmemcached-servers=SERVER_LIST List of Memcached servers to use. libsqlite3 Options: --libsqlite3-db=DB Database file to
このウェブサイトは販売用です！ oddments.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、oddments.orgが全てとなります。あなたがお探しの内容が見つかることを願っています！
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
いつの間にやら http://gearmanproject.org/doku.php にて、gearman library 0.1 が C で書き直されてました。MySQL で有名な Brian Aker らが開発しているようです。 これは期待出来るかも？ 追試 (2009-01-16T21:49:11+09:00) 0.02 がリリースしてたので試してみました。下のサンプルは正常に安定して動いてました。 一応報告。 インストール CentOS 5.2 で試してみました。 libevent のインストール CentOS の libevent は yum でインストールすると、1.1a と言うとんでもなく古いもので、これでは gearman library はコンパイル出来ません。従ってソースからインストールします。 $ cd /usr/local/src $ wget http://mon
PHPからperlのGearmanみたいなのを使いたくてtwitterでぼやいてみたらTwitter / ippei ogiwara: @ku ぐぐったらでてきた http://tinyur…というのを教えてもらったのでGearmanでreblogサーバを作ってPHPから呼んでみました。 Twitter / ippei ogiwara: @ku おもしろそうだから、使ってみたらおしえてください というわけで簡単にレポート。 Gearmanのインストール まずGearmanが入っていなかったのでlog4ZIGOROu : Gearmanを使ってみたを参考にインストール。 サーバはFreeBSDです。Sys::Syscallだけforceで入れました。 sudo cpan -i Sys::Syscall sudo cpan -i Danga::Socket sudo cpan -i Gear
こないだ公開したSite Validatorの開発過程を解説しようと思っていたけど、少々面倒なので、ソースを晒してちょっとコメントするだけに留める。 簡単に動作原理を説明する。 0. validationを実行するためのworkerを起動させて待機させておく。 1. ブラウザからURIの入力を受け付ける。 2. workerにURIを渡して、後はworkerに仕事をさせる。 3. その間ブラウザ側は、結果ページとなるページに遷移させてリロード状態で待機させる。 4. ユーザーをリロード状態で待たせてる間にworkerが以下(5〜9)の仕事をする。 5. 受取ったURIをもとに、チェック対象となるURIを探索する。 6. 5で取得したURIをひとつづつW3Cのvalidation APIに渡す。 7. 6の結果をちまちまと配列にためていく。 8. できあがった配列を使ってTTで結果ページを生
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Gearman で遊んでたら思いついたので書いておきます。ネタに近い。 複数台のマシンで同じコマンドを実行して結果を見たい、てなのを Gearman でやってみる。 worker: 自分の hostname を function 名として job server に登録。job の引数に受け取った文字列を shell に食わせて実行する client: worker の動いているマシンの hostname を function 名として、実行したい shell command を投げる てなかんじ。 あらかじめ job_server になるマシンは決めて gearmand を実行しておき、コマンドを実行したいマシンで worker.pl を起動。 $ perl worker.pl sola # 引数は job_server名 job_server: sola myhostname: sola
GearmanとかNginxとか ひさびさにFemoを弄った。 サーバ周りを中心にいくつか改善 まず、以前FastCGIの環境で動かないと書いたText::VimColorをGearmanを使うようにしてみました。 Text::VimColorはText::Hatena(バージョン0.16)の中で使われています #Worker(worker.pl) my $worker = Gearman::Worker->new; $worker->job_servers(qw/127.0.0.1/); $worker->register_function( vimcolor_html => sub { my $g = shift; my $arg = Storable::thaw( $g->arg ); my %arg = map { $_ => $arg->{$_} } grep { $_ !~ /
_ [ソフトウェア] DB分散の次は非同期処理がウェブアプリのスケーリングのトレンドになる サイボウズも memcached + MySQL DB 分散 Cybozu Developer Network: MySQL Users Conference Japan 2007 講演概要 を読んで、memcached でキャッシュ＆ 複数の MySQL をアプリのロジックで分散化というのは、もうすっかりスケーラブルなウェブアプリの作り方として常套手段になったと思いました。 2004 年 4 月の MySQL カンファレンスでの Brad Fitzpatrick の発表 Inside LiveJournal's Backend (PDF)から約 3 年半。Mixi やはてなのようなエッジな企業はだいぶ前からこの構成を採用してますが、対法人のビジネスをしているサイボウズでも採用されたというのは一つ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
