「Job Queueシステムを使いたいんだけど、今回使いたい言語用のライブラリには低機能のものしかない、追加機能を少しだけ自分で作る必要がある」というときに、どういう機能を最低限作れば、システムリソースの使い過ぎ等を避けられるかメモ。 Google App Engine(GAE)のTaskQueueが以前使ってて便利だったので、「それと同じ機能が最低限あれば、とりあえずOKでは？」みたいな方針で書いてます。用語は基本的にGAEに合わせますが、各システムによって様々だったりします。 この記事に書かれた内容が絶対とかそういうわけではないのでご注意ください。 RateとBucket Size トークンバケットアルゴリズムでタスクを実行していく場合、RateとBucket Sizeの値を設定することで、結果的に、単位時間あたりに実行するタスクの数を設定することができます。 具体的な数字は完全にシス
This document describes the current stable version of Celery (5.4). For development docs, go here. Celery - Distributed Task Queue¶ Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operations with the tools required to maintain such a system. It’s a task queue with focus on real-time processing, while also supporting task scheduling
ØMQ(zeromq)について簡単に調査したのでメモ。元ネタはØMQ - The Guide。 概要 N-N通信を実現する、socket API風軽量メッセージングライブラリ。 自動的な再接続や、メッセージのキューイングを行ってくれる。 複数のメッセージングパターンと呼ばれるものを組み合わせることによって、柔軟なメッセージ配信を行うことができる。 ライブラリについて socket APIライクなC APIを持つ。以下socketは、zeromqのsocketを指す。 zeromqはコンテキストというものを通じて使う。1コンテキストに、I/Oスレッドが1つ割り当てられる。基本1プロセスに1コンテキストでOK。複数のcontextを持つことはできるし、その場合は同じ個数のI/Oスレッドが走る。 zeromqのsocketは、プロセス内通信(スレッド間通信など)、プロセス間通信、TCP、UDPマ
いつの間にやら http://gearmanproject.org/doku.php にて、gearman library 0.1 が C で書き直されてました。MySQL で有名な Brian Aker らが開発しているようです。 これは期待出来るかも？ 追試 (2009-01-16T21:49:11+09:00) 0.02 がリリースしてたので試してみました。下のサンプルは正常に安定して動いてました。 一応報告。 インストール CentOS 5.2 で試してみました。 libevent のインストール CentOS の libevent は yum でインストールすると、1.1a と言うとんでもなく古いもので、これでは gearman library はコンパイル出来ません。従ってソースからインストールします。 $ cd /usr/local/src $ wget http://mon
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
