こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (プレビュー) 』という記事が公開され、2021年04月時点でもPreview状態です。 このSUPER型は、ログやDynamoDBストリームに見られるJSONおよび半構造化データと非常に相性がよく、使い始めてみると【素晴らしい！】と言う感想を得るので、皆様も是非使ってみてください。 背景 2021年4月現在では、Tonamel という大会プラットフォームサービスのデータ基盤 構築業務・整備を行っております。 To
Amazon CloudWatch に新しい機能、Metric Stream が登場しました！ いままでCloudWatchのメトリクスデータを、New RelicやDatadogのような外部のSaaSから参照しようと思ったら、定期的にAPIでポーリングするしかありませんでした。そのため、（この公式Blogにも書いてますが）メトリクスの種類によっては5〜10分程度の遅延が発生することになってました。 今回の機能で、CloudWatch側で更新されると同時にSaaS側へもpushされることになるため、同じタイミングで参照できるようになります。これはうれしいですね！ CloudWatch Metric Streamで出来ること 要は、CloudWatch MetricのデータをKinesis Data Firehoseに流し込むことができる機能です。 Firehose はストリームデータをS3
![[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
概要 EC2インスタンスからFluentdを使ってKinesis Data Streamsにログを送信するアーキテクチャを構築します。 fluent-plugin-kinesisでKinesis Streamsにログを送信する こちらの記事を参考にしました。 基本的な流れは同じですが、簡単な説明だったり情報が古かったりして少し戸惑ったのでまとめました。 今回は一から作成していますが、必要に応じて作成済みのものを利用してください。 環境 作業 OS：macOS Mojave EC2 OS：Amazon Linux 2 AMI (HVM) fluentd：1.4.2 td-agent：1.3.3 fluent-plugin-kinesis：3.0.0 ruby：2.6.2 目次 EC2の作成 Streamの作成 EC2にロール付与 (1) StreamのARNを指定して、Kinesisのポリシ
4. AWS CLI 直近のバージョンアップ • 1.7.35 2015/06/18 – Feature: aws ecs Add support for DeregisterTaskDefintion and environment variable overrides. • 1.7.34 2015/06/12 – Feature: nstallation Fix bundled installer when running python 2.6 (issue 1381) – Feature: Installation Fix minimum required version of pip to install the AWS CLI using python2.6 (issue 1383) • 1.7.33 2015/06/12 – Feature: aws autoscaling A
2. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2 自己紹介 所属 • Acroquest Technology Co., Ltd. • 「働きがいのある会社」（GPTW） 従業員25～99人部門 2年連続1位 主な業務分野 • テクニカルアーキテクト • SEPG • IoTサービス開発 • ビッグデータ処理プラットフォーム 最近の興味 • サーバーレス • DevOps • Elasticsearch 鈴木 貴典 Twitter : @takanorig Qiita : http://qiita.com/takanorig 3. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 本日お話する内容 ＃1 ビッグ
ビッグデータ時代のキーテクノロジ、「CEP」とは何か：戦略的ITを実現するキーテクノロジ（1）（1/2 ページ） 本連載では、戦略的IT活用を実現する「これからの技術要素」を紹介していく。現代のキーテクノロジのアウトラインをつかむことで、ビジネスの新たな可能性を考えたり、「経営に貢献する情報システム部門」への変革を図ったりするための一助にしてほしい。 「経営への貢献」を求められている情報システム部門 ビジネスがグローバル化し、市場競争も激化している現在、企業は市場動向変化に俊敏に対応することが求められている。特に、新規サービスのリリー ス、新たな付加価値の提供など、何をするにもITの力抜きでは語れない今、システム活用の在り方そのものが企業の命運を握ると言っても、決して過言ではない。 こうした中、情報システム部門に求められる役割も大きく変わろうとしている。言われた通りに作るだけだったり、パッ
今回のre:Inventに参加して、この勢いは止められないとつくづく感じます。オンプレミスとAWSのすり合わせもかなり進んでおり、スタートアップからはAWSをベースにした新たなクラウドソリューションが次々と出ています。ほかのクラウドベンダとの差は縮まるどころか、拡がる一方でしょうね。 既存のRDBMSからRedshiftにJOIN ──前回お話を伺ったときはRedshiftが出てまもないころでしたが、その後、Hapyrusのビジネスも含め、Redsiftの市場における認知度はどれくらい高まってきた感じですか。 藤川：ものすごく応用範囲が拡がってきていると実感します。現在AWSが公開している事例から紹介すると、英BBCがグローバルで展開するコンテンツの分析をRedshift経由でオンデマンドで行うなど、大規模環境での利用が増えてきています。米国では金融やアドテクの事例が多いですね。とくにト
こんにちは！少し前までProgateでエンジニアのインターンをさせていただいておりました、chisatonと申します。 Progateのアドベントカレンダーに参加させてもらえるだなんて思ってもみなかったので、とても嬉しい限りです。 今私はエンジニアとして別の会社で働かせていただいているのですが、今の部署とProgateではAWSを使用しているという点で共通点があるため、今回はAWSのサービス紹介も兼ねて、どんな時にどのデータベースを選択すべきなのか、についてまとめてみようかと思います。 元ネタは、最近参加させていただいたラスベガスでのAWS re:Inventの"Which Database to Use When?"というセッションになります。 こちらに動画が既にアップされていますので、興味がある方はこちらを見てみてください。 DB選択においてまず考慮すべき3つの項目 Shape Siz
はじめに 以前、Amazon Kinesisを使う案件があり技術調査の手伝いをしたことがありました。AWSのサイトには「大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス」とありますが、その時は何のためのサービスなのか触ってもいまいちピンときませんでした。その後、分からなかった点を担当者にいろいろ聞いてみたのですが、案件が事例化されましたので教えてもらったことをブログに書いてみようと思います。株式会社あきんどスシロー様の案件です。以下が構成図になります。 「うまいすしを、腹一杯。うまいすしで、心も一杯。」 処理の流れ 事例の構成図からどのような処理が行われているかを担当者に確認しました。 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
