Amazon AthenaでETLした結果をRedshiftにロードしてみる | DevelopersIO
先日の Black Beltオンラインセミナー「Amazon Athena」で、Athenaの想定ユースケースとして「開発者が、大規模でない生データに対して、低頻度でETL処理をする」という話を聞き、実際に Athena で ETL して Redshift にロードしてみることにしました。 サンプルデータ サンプルデータは下記データをダウンロードし、対象シートを[Orders]のみをS3ファイルに保存して、Athenaで orders_jp テーブルとして定義したものを利用します。 Superstoreサンプルデータ（不具合修正版） |Tableau Community シナリオ 日本国内の売上情報が含まれるデータファイルがS3上に存在する。データファイルから製品カテゴリ〜製品毎の売上と利益率のデータマートを作成して、BIツールから参照できるようにこのデータマートをRedshiftにロード
fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (fluent-plugin-s3, その他どんな手段でも可) (S3) SQS に S3 の path 等が記述されたメッセージを通知する (Rin) SQS のメッセージを受信し、Redshift へ CO
AWS Solutions Architect ブログ
こんにちは、ソリューションアーキテクトの岩永です。 Principal Solutions ArchitectのIan MeyersがAWS Big Data Blogに投稿した A Zero-Administration Amazon Redshift Database Loaderを翻訳しました。AWS Lambdaを利用して、S3にファイルが上がったら自動でAmazon Redshiftにデータを投入できるようになります。DynamoDBを利用したジョブ管理なども参考になる部分があるかと思います！ この新しいAWS Lambda ファンクションによって、Amazon Redshiftへのデータロードが今までになく簡単になります！Amazon S3の好きな場所にファイルをpushするだけで自動的にAmazon Redshiftクラスタにロードされます。 AWS Lamda を Amaz
S3にアップロードしたCSVファイルをLambda経由でAmazon RedshiftにCOPYする – AWS Lambda Advent Calendar 2014：2日目 先日米国ラスベガスで開催された『re:Invent 2014』にて発表されたAWS Lambdaに関するエントリを12/01から12/25まで毎日1本ずつ書いていくアドベントカレンダー『AWS Lambda Advent Calendar 2014』。このエントリは2日目の内容となります。 AWS Lambda Advent Calendar 2014 - Qiita AWS Lambda 先日1日目のエントリはharuyoshさんの『Lambdaからhttpリクエスト』でした。 Lambdaからhttpリクエスト - Qiita 本日2日目のエントリは『S3にアップロードしたCSVファイルをLambda経由でAm
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
