タグ

prometheusに関するkimutanskのブックマーク (9)

  • Outshift | Monitoring Apache Spark with Prometheus on Kubernetes

    kimutansk
    kimutansk 2018/03/06
    Spark用のPrometheusExporter(要PushGateway)と。この手の、後付けで起動できるかについてはSparkのメトリクス出力機構側の方も確認しておく必要がありますか。
  • Outshift | Application monitoring with Prometheus and Pipeline

    Get emerging insights on innovative technology straight to your inbox. Monitoring series: Monitoring Apache Spark with Prometheus Monitoring multiple federated clusters with Prometheus - the secure way Application monitoring with Prometheus and Pipeline Building a cloud cost management system on top of Prometheus Monitoring Spark with Prometheus, reloaded At Banzai Cloud we provision and monitor l

    Outshift | Application monitoring with Prometheus and Pipeline
    kimutansk
    kimutansk 2018/03/05
    Spark用PrometheusExporterのラベルマッピング定義例と。サンプルが地味にありがたい。
  • AbemaTVにPrometheusというモニタリングシステムを導入した話

    この記事はCyberAgent Developers Advent Calendar 2016 24日目の記事です。23日目はdekatotoroさんの「Apple TV – tvOS入門」でした。 こんにちは、AbemaTVサーバサイドエンジニアのギアです。 去年は新卒のiOSエンジニアとして、「ReactiveCocoaとMVVMモデル」という記事を書きましたが、今年はサーバサイドに関することを書きます。 はじめに この前にAbemaTVはモニタリング・アラートのため、主にStackdriver, Bugsnag, StatusCakeというサービスを使っています。しかし、Stackdriverはデフォルトである程度のGCP (Google Cloud Platform) 上のリソースに対するメトリクスしかありません。各マイクサービス間の通信やサービスのカスタマイズメトリクスなどのアプ

    AbemaTVにPrometheusというモニタリングシステムを導入した話
    kimutansk
    kimutansk 2017/10/31
    メトリクスとファイルのマッピングや、k8sのサービスディスカバリの設定は参考になります。一度始めるといろんなものを入れたくなるんですよね・・
  • Prometheusによる数百台規模のモニタリングで直面した問題について | GREE Engineering

    インフラの反田 (@mtanda) です。 GREEでは、多くのサービスをAWS環境で運用しており、それらサービスのモニタリングシステムとしてPrometheusを利用しています。 Prometheusを導入してから約2年がたち、1台のPrometheusで数百台規模のインスタンスをモニタリングするなかで、さまざまな問題に直面しました。 それら問題の原因を分析し、設定や利用の仕方を改善することで、ある程度安定して運用できるようになりました。 これらの知見が少しでもお役に立てばと思い、ここで共有いたします。 なお、対象とするPrometheusのバージョンは1.xです。Prometheus 2.0では、これら問題のほぼ全てに対して改善されています。そのため、2.0でどういった点が改善されているかを知るためにも有用だと思います。 Prometheusのストレージ実装の基礎知識 Promethe

    Prometheusによる数百台規模のモニタリングで直面した問題について | GREE Engineering
    kimutansk
    kimutansk 2017/10/23
    事例3、事例4あたりはそろそろぶつかってきそうなので確認しておきますか。unarchiveはまだドキュメントそのあたり読めていなかった。
  • Prometheus Storage

    This document discusses time series data storage and querying in Prometheus. It describes how Prometheus stores time series data as chunks on disk in a key-value store format, with compression to reduce storage needs. It also explains how Prometheus handles ingesting new time series data through appending to in-memory chunks before writing to disk, and how it handles querying time series data thro

    Prometheus Storage
    kimutansk
    kimutansk 2017/10/16
    時系列データの保存としては極めてベーシックな方式ですか。その分わかりやすい。WAL方式なのでデータの欠損はあり得ますが、その分効率がいい。監視用だとそれで問題ないですしね。
  • Monitoring Apache Spark (Streaming) with Prometheus - Argus

    Introduction As part of our efforts of establishing a robust back-end, one important part of it is monitoring the environment, hosts and services. Lately, we decided to give a try to Prometheus. Prometheus is an “open-source service monitoring system and time series database”, created by SoundCloud. It is a relatively young project, but it’s quickly gaining popularity, already adopted by some big

    Monitoring Apache Spark (Streaming) with Prometheus - Argus
    kimutansk
    kimutansk 2017/05/20
    PrometheusでSpark、というかYARNアプリケーション監視する場合、同一ホストに複数アプリデプロイされるとポート被りますし、厄介ではありますね・・
  • Consul, Consul TemplateとPrometheusで行う簡易メトリクス収集

    10月 2015 (1) 9月 2015 (1) 12月 2014 (2) 11月 2014 (1) 10月 2014 (1) 9月 2014 (1) 7月 2014 (2) 6月 2014 (2) 5月 2014 (1) 12月 2013 (1) 10月 2013 (1) 7月 2013 (1) 11月 2011 (2) 10月 2011 (1) 5月 2011 (1) 3月 2011 (1) 1月 2011 (1) 12月 2010 (3) 11月 2010 (1) 10月 2010 (1) 9月 2010 (3) 8月 2010 (6) 7月 2010 (1) 5月 2010 (2) 4月 2010 (1)

    kimutansk
    kimutansk 2015/09/29
    ConsulのServerDiscovery、タグでやる方式もありましたか。AWS上に限られるものの、これはこれでありですかね。
  • 【入門】PrometheusでサーバやDockerコンテナのリソース監視 | Pocketstudio.jp log3

    新しい監視ツールとして開発途上の Prometheus 概要と、インストール・設定方法、そして複数サーバのCPUやメモリ情報を参照したり、Docker コンテナ情報の取得方法、そしてアラートの確認の仕方を調べました。実際使い始めるまで少々とまどった所もあり、Prometheus を知りたい方、使いたい方向けに、ここで共有します。 ■ Prometheus とは? Prometheus(プロメテウス)は、オープンソースのサービス監視システムと時系列データベースであり、要は監視ツールです。先月末にバージョン 0.1.0 が公開され、目下開発が進んでいます。開発は、音楽のソーシャル・プラットフォームを展開しているSoundCloud社によって2012年から行われ、数千ものサーバを管理することが目的でした。現在はGitHub上で公開されています。開発言語は Go です。 ■ これまでの監視ツールと

    【入門】PrometheusでサーバやDockerコンテナのリソース監視 | Pocketstudio.jp log3
    kimutansk
    kimutansk 2015/02/12
    監視対象は設定ファイル・・ということは後から起動したまま追加は出来ない?集計自体は多彩なのですが・・
  • Prometheus: Go言語で書かれたモニタリングシステム - ワザノバ | wazanova

    https://developers.soundcloud.com/blog/prometheus-monitoring-at-soundcloud 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 Prometheusは、SoundCloudが中心となって開発を進めているオープンソースのプロジェクトDockerの社内でもメインのモニタリングシステムとして利用されているようです。 各社のブログのエントリーから、その特徴をまとめると。 多元データモデルとそれを活かす柔軟なクエリ言語 全てのデータにタイムスタンプのある、OpenTSDBに準じたデータモデル。 http_response_500_totalやhttp_response_403_totalなどHTTPレスポンスのステータスごとに用意しなくても

    kimutansk
    kimutansk 2015/01/30
    安易に分散するよりは単体の性能を高められるモニタリングシステムにする・・というのは重要ですね。見てみましょうか。
  • 1