2018年10月13日、株式会社AbemaTVが主催するイベント「AbemaTV Developer Conference 2018」が開催されました。3度目の開催となる今回のテーマは「PAST→FUTURE」。開局から2年半の実績を元に、快適な視聴体験を届けるための取り組みや、大規模な同時接続に対するシステム開発・運用に寄って得られた技術的知見を共有します。プレゼンテーション「Kubernetes Jobによるバッチシステムのリソース最適化」に登壇したのは、株式会社AbemaTV、コンテンツ配信チームの芝田将氏。AbemaTVのバッチシステムにて、Kubernetes Jobを用いて行ったリソース最適化について解説します。講演資料はこちら Kubernetes Jobによるバッチシステムのリソース最適化 芝田将氏（以下、芝田）：よろしくお願いします。今回は、Kubernetes Jobに
k8sと同じ感覚で使えてとっても簡単ですね。 また上の例ではkubectlのみでワークフローが実行できており、既存のエコシステムとの連携も簡単そうです。 Webコンソールで結果をみるとこんな感じです。 どんなワークフローを定義ができる？（v2.1.0-beta2） それではもう少しどのようなワークフローが定義できるか見ていきます。 公式のドキュメントはまだ少ないのですが、サンプルと合わせて読み取った機能を一問一答の方式で書きます。 処理ごとにパラメーターの変更はできる？ spec.arguments.paramtersで定義したパラメーターをargo submit --parametersで指定できるよ。 CPUとMemoryの指定はできる？ k8sと同じようにresourcesで指定できるよ。 Gitからコードをチェックアウトできる？ spec.templates[].inputs.ar
こちらはあくあたん工房GWアドベントカレンダー5月5日の記事です． Workflow Engine とは Job1があるサービスからデータを取得する，Job2がJob1で取得したデータをもとに利用可能なかたち例えばある数式に基づいた評価スコアに変換する，Job3がJob2で算出されたスコアでランキングを生成する...といった一連のJobの流れがあるとします． このとき，当然ながらJob2はJob1が終わった後に実行しないと意味がないですし，同様にJob3はJob2が終わった後に実行しないといけません． このようなJobの依存関係の解決方法として，例えばKubernetesではCronJobのスケジュールをうまく設定することが考えられます．しかし，この方法では一つ一つのJobの実行時間を把握しておかなければいけません． またJobの数が数十個単位やそれ以上になったとき，そこに新たなJobを追
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
