フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 時系列データ用のスキーマ設計 このページでは、時系列データを Bigtable に保存するためのスキーマ設計パターンについて説明します。このページはスキーマの設計に基づいており、このページで説明するコンセプトと推奨事項を十分に理解していることを前提としています。 時系列とは、測定値とその測定値が記録された時刻で構成されるデータの集合です。時系列の例には次のようなものがあります。 コンピュータのメモリ使用率のプロット ニュースで報道される温度の経時変化 一定期間における株価 スキーマが適切であれば、高いパフォーマンスとスケーラビリティを得られますが、スキーマが不適切であればパフォーマンスが悪いシステムになることがあります。ただし、すべてのユースケースに最適な、ただ 1 つのスキーマ設計は存
IoT(Internet of Things) システムでは、各種センサーから、秒以下の周期で取得された、大量の時系列データを取り扱います。このようなデータを保持するシステムとして、時系列データベースは求められています。そこで、時系列データベースの TimescaleDB について、まとめました。 動作環境やライセンスなど基本情報から、対応プログラム言語、可用性、拡張性など機能情報やセキュリティなど掘り下げて、以下のようにまとめました。 TimescaleDB は、時系列データの高速格納と複雑なクエリのために最適化された PostgreSQL をベースとした時系列データベースです。 あらかじめ時系列データベースに保存されたデータに従来の RDBMS のように SQL を使うことが可能です。TimescaleDB は時系列データのために、NoSQL と RDBMS の両方の良さを実現していま
私が個人的に開催しているエンジニア勉強会の2019年Advent Calendarで、『統計初心者がベイズ統計学に入門するまでの勉強法』という記事を書いたら、とても好評でした。 そこで今回は、統計初心者が時系列分析を学ぶための勉強について書いていければと思います。 この記事の目的と対象者 この記事は、統計の基礎はある程度勉強したことがあるという人が、立派に「時系列分析」統計学の一大トピックについて語れるようになることを目指します。 時系列分析の全体像を語れるようになるぐらいまでがこの記事のゴールです。 時系列分析の中でも、状態空間モデルという分析モデルを理解できるようになるところまでをゴールとします。 （そもそも統計モデリングってなに？という方は、こちら『結局、統計モデリングとは何なのか』もどうぞ） ここで紹介する書籍は、プログラミンを手を動かして学べる系の書籍ですので、プログラミングの知
各本の立ち位置について どんな軸で立ち位置を説明しようか悩みますが、今回は「対象読者レベル」と「時系列との関係」についての二軸で「独断と偏見」で位置づけしてみました。 はじめに 仕事でデータ分析に関して種々のデータに色々な手法を使ったりするのですが、分析していると時系列のデータが意外と多い。 数値予測や異常検知などは時刻と共に記録されていることが多いです。 この時系列データに関する知識を付けるために網羅的に本を読んで、知識を付けようと思いました。 今回はその中で、「どの本にどんな事が書いてあって、他の本との関係性は？」を書評にすることで、皆さんの本の購入の手助けになればと思っています。 「この本の立ち位置も調べて」 「時系列本ならこの本入れなアカン」 などあれば教えてください。 時系列分析のためのブックガイドと同じようなコンセプトの記事です。 時系列データに対する「python,Rどっちが
When developing IoT, financial or industrial applications, the choice of a good time series database is most of the time a headache, choosing between the 30+ (and growing) list of time series vendors in the industry. When choosing a time series database, it is best to know what they have to offer and how they can suit your needs. Are you more about directly writing SQL, or do you prefer a brand ne
TimescaleDB と Grafana TimescaleDB とは？ PostgreSQL の EXTENSION の 時系列データベース Apache License v2 で公開されているOSS Grafana とは？ ログ・データなどの可視化ツール Apache License v2 で公開されているOSS TimescaleDB と Grafana の組み合わせ Grafana v5.3 で TimescaleDB への対応が機能追加されました。 この機能追加により TimescaleDB に格納した時系列データを Grafana を使って可視化できるようになりました。 こちらの内容を触ってみたので、書き留めておきます。 TimescaleDB、Grafana の セットアップログ TimescaleDB/Grafanaともに、公式ドキュメントに、ディストリビューション毎のセ
TimescaleDB とは TimescaleDB とは、PostgreSQL の拡張 (EXTENSION) として実装されている、時系列データの扱いやすくする OSS です。 日時によって変動する CPU 使用率や温度などの監視データや金額のようなデータについて、複雑な処理を高速に行なうことができます。 2017 年 5 月から beta が公開され始め、ライセンスは Apache Licens V2.0 です。 メリット Architecture & Concepts: https://docs.timescale.com/v1.2/introduction/architecture Why Use TimescaleDB over Relational DBs?: https://docs.timescale.com/v1.2/introduction/timescaledb-v
本資料の内容 ・異常とは ・異常検知問題のタイプ ・時系列データのタイプ ・データの前処理 ・異常検知手法 ・性能検証 ・発展
Column-oriented storage. Based on novel LSM and B+tree hybrid datastructure with multiversion concurrency control (no concurrency bugs, parallel writes, optimized for SSD and NVMe). Supports both metrics and events. Fast and effecient compression algorithm that outperforms 'Gorilla' time-series compression. Crash safety and recovery. Fast aggregation without pre-configured rollups or materialized
新規作成：2018年03月05日 最終更新：2018年03月06日 この記事は、時系列分析をこれから学ぼうとされる方のためのブックガイドです。 書籍によってカバーされている範囲、R言語などのプログラミング言語を援用しているかしていないか、そして書籍の難易度などをまとめています。 また、私自身、「時系列分析と状態空間モデルの基礎」という時系列分析の入門書を執筆しており、この本がどのような立ち位置にあるのかも説明しています。 目次 書籍紹介 時系列分析のトピック 状態空間モデルの分類 古典的な時系列モデルを学ぶことの意義 書籍で扱われている内容の比較 隼時系列本の立ち位置 1．書籍紹介 Rによる実装なし 沖本(2010)『計量時系列分析』 以下「沖本本」と略します。 実用的でバランスも良く、当サイトでも強く推している書籍です。 ARIMA・GARCH・見せかけの回帰などが丁寧に説明されています
連載バックナンバー はじめに 今回は時系列分析について紹介します。ビジネスで生成されるデータの多くが“時間“の項目を含む時系列データで、1週間の傾向や季節変動などを分析する際など、さまざまな場面で時系列の分析が必要となります。 時系列分析（Time Series Analysis）とは？ 時系列分析（Time Series Analysis）は、株価や為替レートなど金融関連の時間とともに変化するデータを分析し予測するために発達してきました。「時系列計量経済学（Time Series Econometrics）」などの学問の中で論じられているデータ分析の中では、比較的歴史のあるテーマです。それだけに、定式化するためのさまざまなモデルが提案されていて、1つの変量を分析するためのモデルだけでも、表1のように多くのモデルがあります。 略称 説明 AR
Rを用いた時系列解析 の実践例を載せます。 時系列解析ってなに？ という方は時系列解析_理論編を先に読まれるとよいと思います。 ここでは、本格的な時系列モデルを組む前に、予測がほぼ不可能であるホワイトノイズとランダムウォークの性質と和分過程の特徴を解説します。 モデルによる予測ができない時 １．ホワイトノイズ これからARIMAモデルを推定していくわけですが、そもそも自己相関が全くない、すなわち過去から未来を予測できないデータをお目にかけます。 自己相関の無い完全な雑音のようなデータのことをホワイトノイズと言います。 このホワイトノイズをforecastパッケージのauto.arimaでモデリングしてみましょう。 ホワイトノイズは下のコードで簡単に作れます。 set.seed(1) white.noise <- rnorm(n=400) plot(white.noise, type=”l”
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列分析のお勧め本リスト