株式会社ディー・エヌ・エーが Amazon Redshift Serverless と dbt を活用して匿名化データの品質テストを最大100倍高速化を実現 | Amazon Web Services
Amazon Web Services ブログ 株式会社ディー・エヌ・エーが Amazon Redshift Serverless と dbt を活用して匿名化データの品質テストを最大100倍高速化を実現 本ブログは 2024 年 12 月 17 日に公開された「How DeNA Co., Ltd. accelerated anonymized data quality tests up to 100 times faster using Amazon Redshift Serverless and dbt」を翻訳したものです。 本ブログは株式会社ディー・エヌ・エー（以下 DeNA）と Amazon Web Services Japan が共同で執筆しました。 DeNA は「一人ひとりに想像を超える Delight を」というミッションのもと、ゲーム、ライブコミュニティ、ヘルスケア・メディ
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (プレビュー) 』という記事が公開され、2021年04月時点でもPreview状態です。 このSUPER型は、ログやDynamoDBストリームに見られるJSONおよび半構造化データと非常に相性がよく、使い始めてみると【素晴らしい！】と言う感想を得るので、皆様も是非使ってみてください。 背景 2021年4月現在では、Tonamel という大会プラットフォームサービスのデータ基盤 構築業務・整備を行っております。 To
株式会社ZOZOテクノロジーズが開発・運用する、日本最大級のファッション通販サイトZOZOTOWN。同社は昨年、このサービスで使われるデータウェアハウスをAmazon Redshift（以下、Redshift）からGoogle BigQuery（以下、BigQuery）に移行した。本セッションでは開発部 SREチームの塩崎健弘氏が、BigQueryを採用した理由や移行にあたり工夫した点について語った。 講演資料：ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 運用負荷軽減のため、よりマネージドなBigQueryへ移行 株式会社ZOZOテクノロジーズ 開発部 SREチーム 塩崎健弘氏 かつてZOZOTOWNのインフラでは、データウェアハウスとしてRedshiftが用いられていた。当時のデータフローは下図の通りだ。オンプレミスで動いているZOZOTOWNの各種サ
Redshift 横串検索を使用して、簡略化された ETL およびライブデータクエリソリューションを構築する | Amazon Web Services
Amazon Web Services ブログ Redshift 横串検索を使用して、簡略化された ETL およびライブデータクエリソリューションを構築する 最高の ETL は、ETL を行わないことだという話を聞いたことがあるかもしれません。Amazon Redshift は、横串検索でこれを可能にしました。最初のリリースでは、この機能により、Amazon Redshift 外部スキーマを使用して、Amazon Aurora PostgreSQL または Amazon RDS for PostgreSQL でデータをクエリできます。横串検索は、システムビューとドライバー API を通じてソースデータベースからメタデータも公開します。これにより、Tableau や Amazon Quicksight などのビジネスインテリジェンスツールがローカルコピーを作成しなくても、Amazon Red
更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ
第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10
2. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2 自己紹介 所属 • Acroquest Technology Co., Ltd. • 「働きがいのある会社」（GPTW） 従業員25～99人部門 2年連続1位 主な業務分野 • テクニカルアーキテクト • SEPG • IoTサービス開発 • ビッグデータ処理プラットフォーム 最近の興味 • サーバーレス • DevOps • Elasticsearch 鈴木 貴典 Twitter : @takanorig Qiita : http://qiita.com/takanorig 3. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 本日お話する内容 ＃1 ビッグ
今回のre:Inventに参加して、この勢いは止められないとつくづく感じます。オンプレミスとAWSのすり合わせもかなり進んでおり、スタートアップからはAWSをベースにした新たなクラウドソリューションが次々と出ています。ほかのクラウドベンダとの差は縮まるどころか、拡がる一方でしょうね。 既存のRDBMSからRedshiftにJOIN ──前回お話を伺ったときはRedshiftが出てまもないころでしたが、その後、Hapyrusのビジネスも含め、Redsiftの市場における認知度はどれくらい高まってきた感じですか。 藤川：ものすごく応用範囲が拡がってきていると実感します。現在AWSが公開している事例から紹介すると、英BBCがグローバルで展開するコンテンツの分析をRedshift経由でオンデマンドで行うなど、大規模環境での利用が増えてきています。米国では金融やアドテクの事例が多いですね。とくにト
こんにちは！少し前までProgateでエンジニアのインターンをさせていただいておりました、chisatonと申します。 Progateのアドベントカレンダーに参加させてもらえるだなんて思ってもみなかったので、とても嬉しい限りです。 今私はエンジニアとして別の会社で働かせていただいているのですが、今の部署とProgateではAWSを使用しているという点で共通点があるため、今回はAWSのサービス紹介も兼ねて、どんな時にどのデータベースを選択すべきなのか、についてまとめてみようかと思います。 元ネタは、最近参加させていただいたラスベガスでのAWS re:Inventの"Which Database to Use When?"というセッションになります。 こちらに動画が既にアップされていますので、興味がある方はこちらを見てみてください。 DB選択においてまず考慮すべき3つの項目 Shape Siz
はじめに 以前、Amazon Kinesisを使う案件があり技術調査の手伝いをしたことがありました。AWSのサイトには「大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス」とありますが、その時は何のためのサービスなのか触ってもいまいちピンときませんでした。その後、分からなかった点を担当者にいろいろ聞いてみたのですが、案件が事例化されましたので教えてもらったことをブログに書いてみようと思います。株式会社あきんどスシロー様の案件です。以下が構成図になります。 「うまいすしを、腹一杯。うまいすしで、心も一杯。」 処理の流れ 事例の構成図からどのような処理が行われているかを担当者に確認しました。 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされる
技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
