Jenkins ユーザ・カンファレンス 2015 東京で発表した資料です。 概要はこちら > http://build-shokunin.org/juc2015/ セッション詳細はこちら > http://build-shokunin.org/juc2015/sessions/#satta-3 ==== デプロイの自動化やテストの自動化を導入し、継続的インテグレーションを実施されている方々は多いのではないでしょうか。 サーバ構築においても継続的インテグレーションを行う時代です。弊社では2013年にChefを導入、その後Chefでどこまで構築するか、テストはどうやって回すかを試行錯誤しておりました。そこで環境構築を4つのレイヤーに分けそれぞれの役割を決め、これまで複雑化していたサーバ構築から本番稼働までの流れを明確にしました。 今回の発表では、「Infrastructure as a Cod
こんにちは、cloudpack の 佐藤 です。 AWSリージョン間接続 BGP VyOS でリージョン間のVPNを構築する。 冗長構成をBGPとSerfで実装する。 構成図 ルーティング 拠点間をeBGPにてピア接続を行う。 同一拠点間をiBGPにてピア接続を行う。 Front SubnetのネットワークはStatic経路をBGPに再配布することによって経路公告を行う VyOS SubnetのネットワークはConnect経路をBGPに再配布することによって経路公告を行う BGPTimerは[Hello:4秒][Dead:12秒]とし検知12秒 切替1秒 MTUは1414 IPSec/GREでトンネルを構築 AWSのルーティング切り替えはSerfを利用する AWS設定 AmazonLinux 最新版のAMI →RoutingTableに「対向のネットワークアドレス：VyOSのENI(Act
Serf 虎の巻 サービスディスカバリーとオーケストレーション用のツールであるSerfについてまとめた．基本的には公式のHPのGetting Startの抄訳．Vagrantで試験環境を立てて実際に触りつつSerfを使い始められるようにした． 目次 Serfとは Gossip protocolとは 試験環境の準備 クラスタの形成 クラスタからの離脱 イベントハンドラ カスタムイベント カスタムクエリ コマンド一覧 参考 Serfとは Serfはサービスディスカバリーやオーケストレーション，障害検出のためのツール．Vagrantの開発者であるMitchell Hashimoto氏により開発が進められている．SerfはImmutable Infrastructureの文脈で登場してきたツールであり，Immutableなシステムアーキテクチャー，デプロイを実現する上で必須のツールである． Imm
SerfでDockerコンテナのクラスタを形成する “Serf虎の巻”書いたし，Serf使っていろいろやってみるかということで，Dockerコンテナのクラスタ形成をやってみた．SerfとDockerの組み合わせについては，すでに[shiba_yu36]()さんが試みている（“serfとDockerでクラスタを組んでみる”）ので，もう少し踏み込んでクラスタへのjoinの仕方を模索してみた． tcnksm/sample-docker-serf やってみたのは，Dockerコンテナのみでのクラスタの形成． 準備 Vagrant上で実行する．Vagrantfileは以下． $script1 = <<SCRIPT echo Installing depedencies... sudo apt-get install -y unzip echo Fetching Serf... cd /tmp/ wg
Consul ( http://www.consul.io/ ) という新しいツールが4月17日(日本時間18日)に発表されました。Vagrant や Serf の作者さんが所属している Hashicorp 社としての新しいプロダクトです。 サイトによると、Consul は、’solution for service discovery and configuration’ とあり、サービス検出と設定のためのソリューションであり、具体的には、サービス（データベースやメール等々）を監視し、問題発生時にはトラフィックを迂回させるなどといった情報を、KVS を通して提供するもの、と書かれています。 また、複数のデータセンタにまたがる非常に大きなインフラ（基盤）上で、既に数ヶ月間利用されてきた実績もあるようですね。 4/19追記：背景やアーキテクチャのドキュメントは、別途本厄翻訳しました Cons
LVS ( Linux Virtual Server ) で DSR ( Direct Server Return ) のロードバランサ環境を、オーケストレーションツールの Serf を使って自動管理しよう、という内容です。当記事の検証は、CentOS 6.5 (x86_64)上で、Serf v0.4.5 を使用しています。 設定の方向性は、バランシング先のノードの増減を Serf を使って管理します。Serf のメンバに join する事で、自動的にバランシング先に組み込みます。また、障害発生時 ( fail ) やノードから離れる ( leave ) 時にも、自動的にバランシング情報の削除を試みました。 ◆ OSC 1014 Tokyo/Fall で登壇させて頂きました オープンソースカンファレンス 3月1日(土) 、オープンクラウドキャンパス枠で登壇させていただきました。内容は、オー
This document discusses the history and future of operations (ops) and infrastructure management. It outlines how infrastructure has evolved from single manually configured servers to cloud-based infrastructure with immutable servers. Immutable infrastructure involves replacing servers instead of modifying them, using pre-built machine images. Tools like Packer, Vagrant, and Serf help enable immut
Consul について、自分の中の理解を深めるために関連ドキュメントの参考訳を作成しました(4/19現在)。せっかく作ったのに、自分の引き出しの中にしまっておくだけでは勿体ないと思い、公開します。Consul や Serf に興味を持っている方の参考になれば幸いです。 Consul の意味は、’領事’や’執政官’です。Serf は’農奴’ ですから、まるで、農民(Serf)を支配し、使役するお代官様(Consul)のような関係がイメージされます。実際のところ、Consul は内部の Serf クラスタ上に構築されていますが、Consul の機能や役割は、Serf の持つものとは異なるように見えます（現時点の公開情報では）。詳しくは、ドキュメントをご確認ください。 実際に使いたい！という場合は、先日の投稿 Consul を使ってみた、をご覧下さい。 当ページのドキュメントについては、あくまで
PackerBuild and manage images as code
12:23 antipop_: http://shibayu36.hatenablog.com/entry/2013/12/09/095849 ★2 12:23 antipop_: オーケストレーションに混乱があるのは ★0 12:23 antipop_: mizzyさんのエントリでは、オーケストレーションという単語が示す通り、 ★0 12:23 antipop_: 中心があって、そこからなんかするという発想で整理している ★0 12:24 antipop_: stanakaさんのほうは中心性がない、あるいは、個体がないもの前提で整理している ★0 12:24 antipop_: なので、orchestrationにふたつの軸があると考えるか ★0 12:24 antipop_: orchestrationではなく、単にmanagementととらえるか ★0 12:24 antipop_:
最近Serfというツールも気になっていたので、とりあえずクラスタを組んでイベントハンドラの設定をしてみるところまでやってみました。 Serfとは http://www.serfdom.io/ https://github.com/hashicorp/serf Serf is a decentralized solution for service discovery and orchestration that is lightweight, highly available, and fault tolerant. Orchestrationという層を支援する軽いツールみたいですね。これをうまく使うことで、クラスタにjoinしたweb serverを自動的に配下に加えるHAProxyとかを実装したり出来ます。参考: Serf+HAProxyで作るAutomatic Load Balanc
仮想化の分野はどんどんと新しいものが出てくる。全部を実際に試すことは出来なくても、筋が良さそうなものについては、どういうものなのかある程度把握しておきたい。最近はちょっと忙しくてあまり情報収集ができてなかったので、追いつこうと思ってちょっと調べてみた。 ハイパーバイザ型仮想化とコンテナ型仮想化 仮想マシンの歴史をたどると、メインフレームの方では随分と昔から使われている技術である、と出てくる。一方で、x86の世界ではそれほど歴史は長くなく、1999年にリリースされたVMwareがおそらく実用的な初の仮想マシン技術だろう。 VMWareはハイパーバイザ型仮想化と呼ばれる技術で、上に乗るOS（ゲストと呼ばれる）に対して仮想的なハードウェアを提供する。ハイパーバイザ型も、どのレイヤで仮想的なハードウェアを提供するかで更に細分化されるらしいが、よく知らないので、ここではそこまでは踏み入らない。ハイパ
前回の続きでSerfを触ってる。前回のエントリを見て、@zembutsuさんが作ってくれたserf-muninが素晴らしかったので、弊社仕様に若干修正して導入した。 serf-muninでmunin-nodeの監視自動追加/削除 | Pocketstudio.jp log3 Serf-muninが自動生成、削除するファイルは/etc/munin/conf.d/配下で、 既存のmunin環境(/etc/munin/munin.confとか)を壊すことがないと思うので、すぐに試すことが出来ると思う。 導入環境は CentOS 6.4 Serf 0.2.0 munin-2.0.17 で、Serfの起動コマンドや生成されるmuninのconfの関係上、Serf 0.2.0とmunin 2.0以上は必須条件になります。 serf-muninの仕組みの説明 1. web server1がmuninサー
こんにちは、望月です。 今日はSerfというプロダクトを触ってみたので、学んだ内容をまとめたいと思います。 Serfとは？ Serfはゴシッププロトコルを利用したサーバ間のメッセージングツールです。固定のマスターを持たず、クラスタに参加しているノード間で通信して情報をやりとりするのが特徴です。 Serfの特徴として、公式ページには３つの特徴が挙げられています。 メンバーシップ : 複数のサーバでクラスタを組み、ノードが追加されたり減少したりした際にイベントを発行することができる 不具合検知と修復 : クラスタ内のノードの生死を自動で判断し、不調のインスタンスが存在することを知らせるイベントを発行することができる カスタムイベントの通知 : ユーザ独自のイベントを発行し、任意の処理を行わせることができる とりあえず動かしてみる Amazon Linuxを使って、まずはインストールと動作確認を
https://github.com/zembutsu/serf-munin Github 上に、オーケストレーションツール Serf の、イベントハンドラ用スクリプトを公開しました。機能は、serf のメンバに存在するとき(join時)、munin-node の監視設定ファイルを自動設置します。メンバから外れた時（leave/failed時）は自動的に設定ファイルを削除します。 ■設置方法 Munin マスタ（監視元）のサーバに、このファイルを設置します。 $ wget https://raw.github.com/zembutsu/serf-munin/master/serf-munin.sh # mkdir /opt/serf-munin-node/ # mv ./serf-munin.sh /opt/serf-munin-node/ # chmod 755 /opt/serf-mu
Hashicorp Project の Serf ( http://www.serfdom.io/ ) が 11/1 に version 0.2.0 にバージョンアップしました。当記事は、バージョンアップの手順や、追加された機能や設定について、簡単な検証をしたまとめです。 今回のバージョンから、設定ファイルの外部化と暗号化対応により、Serf が実サービスに投入できるレベルになったと思います。 ところで、Serf はオーケストレーションツール、という理解であっていますでしょうか？ ドメイン名が “serfdom” なので、司るほうの orchestration なのかな？と。あまり自信がありません。なんというか、「Serf は考えるんじゃない！感じるんだ！」というツールのような気がしています。 乗るしかない、このビッグウェーブに！！ ← それは surf ■ Serf v 0.1.0 →
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
