それAmazon AppFlowでよくない？
Amazon AppFlowの話を出すと意外と知らない方が多くて、はぇ～ってなってます。 便利だし個人的には好きなサービスなので、これを機に知ってもらいたいなぁ…と思いながら書きます。 Amazon AppFlowを簡単に Amazon AppFlowはSaasとAWS間のデータ転送をコーディングなしで実現できるサービスです。 一応SaasとAWS間と記載していますが、AWSサービス間のデータ転送（S3→S3とかS3→Redshiftとか）も実現可能です。 SalesforceとかServicenowとかDatadogとか諸々、Saasについてはみなさんご利用されていると思います。 その際、例えばServicenowだとテーブルの情報とか、Datadogとか監視系だとログ、メトリクスなどの情報をバックアップみたいに取得して保管しておいたり、そのデータをさらに分析などに利用したりすることがあ
2024年アメリカ大統領選では、トランプが選挙人・総得票数の両方で上回って勝利するとともに、議会選でも上院で共和党が過半数を奪還、下院でも伸長と、共和党が完全勝利する結果となった。 前回の大統領選では感想戦を書いたが、今回もそのリソースを使ってまた感想戦を書きたいと思う。今回もタイトルは全く同じでマイノリティの話である。今回もデータはNBCの出口調査を使い、2012（オバマvsロムニー）、2016、2020に加え2024を比較し、共和党側候補へ投票した比率をプロットした。トランプは《3回大統領選を戦った政治家》となり、3回分の比較はアメリカのこの10年の世相を否応なく描き出してしまう。 Race別2012-2024 アメリカ大統領選挙NBC出口調査 Race別の共和党候補へ投票した率今回目立つのは、それなりにボリュームがあるラティーノ層で大幅に支持を伸ばしたことであろう。アジアンやその他で
前回のネタは個人的に色々と不本意だったので，今回は軽い小ネタで。 よく考えたらこの記事が今年初めての天文ネタだよ orz Google カレンダーに日本の祝祭日を表示したい！ カレンダーを追加する方法 - 窓の杜 という記事を見かけたのだが，日本の祝日は毎年国立天文台で発表してるんだから国立天文台のデータを使えばいいじゃない，と思ったり。 日本の暦は国立天文台の暦計算室で見ることができる。 こんな感じのページ。 しかも Google カレンダーへインポート可能で，上のページの「＋Google Calendar」の部分をクリックすれば自身の Google カレンダーにインポートできる。 祝日だけでなく二十四節気や朔望月，あるいは日食・月食といった情報が取得できる。 必要に応じてオン・オフを切り替えればいいだろう。 なお，上記データで見れるのは「祝日および休日」で「祭日」のデータはない。 つか
この記事は MERPAY TECH OPENNESS MONTH の 1 日目の記事です。 メルペイでソフトウェアエンジニアやっている @syu_cream です。 メルペイバックエンドシステムにおけるデータ・ログ収集と活用を促進するためのシステム DataPlatform の仕事をしています。 本記事ではこの DataPlatform で用いているデータフォーマット Apache Avro について、簡単な紹介とメルペイにおける導入背景、そして利用事例を示していきます。 ビッグデータ処理基盤においてフォーマット選定は頭を悩まされる課題かと思います。 ログフォーマット選定やスキーマ管理について、少しでもなにか得られるものがあれば幸いです。 Apache Avro の簡単な紹介 Apache Avro はデータがバイナリエンコードされる、軽量で柔軟なデータフォーマットです。 筆者としては B
こんにちは。2024年5月にJADEに入社した江越です。 前職でデータ加工を生業としていた関係で、現在はデータ分析に関わるサポートをメインに取り組んでいます。……とはいえ、法学部出身ということもあり、統計やデータ分析に関しては「素人に毛が生えた程度」の知識しかありません。 今回は、そんな統計素人の私が Causal Impact という分析パッケージに1ヶ月間触れてみた結果、施策の効果を統計的かつ定量的に説明できる手段が得られた経験をシェアしたいと思います。 【もくじ】 Causal Impactとの出会い 効果検証について持っていた課題感 Causal Impact を知る前の効果検証手段 上記の説明の何が問題なのか？ 実際に遊んでみる Causal Impactとは一体何者だ！ 何をすれば良いか整理してみる inputとthroughを用意して実行してみる 統計的有意差が見える……見え
皆さんは最近「洋楽」を聴いていますか…？ ここ数年、音楽業界では「日本の洋楽離れ」が話題になっているようです。 洋楽離れ止まらぬ日本 K-POP人気、邦楽も台頭https://t.co/IvJHSz5Jkl 日本の2023年ストリーミングランキングの上位100曲に洋楽は1曲も入りませんでした。2月の東京公演が話題となったテイラー・スウィフトさんも、2020年代は20位圏内に入っていません。 — 日本経済新聞 電子版（日経電子版） (@nikkei) March 4, 2024 確かに、日本のヒットチャートを席巻しているのはほとんどが日本の音楽かもしれません。一見すると日本独自の現象のようにも思えます。ただ、データから世界を見てみると、少しちがった風景が浮かび上がってきます。 実は「洋楽離れ」は、日本だけの現象ではないようです。世界中で、いわゆる「洋楽」のヒット曲、特にアメリカのポップミュー
人気ファーストパーソン・シューティングゲームである「Call of Duty」シリーズを手がけるActivisionが、2020年にリリースされたPC向けの基本プレイ無料のバトルロイヤルゲーム「Call of Duty: Warzone」のCalderaマップのオープンソースデータセットを学術目的で公開したことを発表しました。 GitHub - Activision/caldera: Caldera data set from Call of Duty: Warzone https://github.com/Activision/caldera Activision Releases Call of Duty: Warzone Caldera Data Set for Academic Use https://blog.activision.com/activision/2024/acti
Dive deep into security management: The Data on EKS Platform | Amazon Web Services
AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In
dbt（data build tool）というアナリティクスエンジニアがデータ変換をデータウェアハウス（DW）でかんたんに行うためのツールについての本です。 dbt はいわゆる ELT（Extract, Load, Transform）の T を担当するツールで、データがすでに DW にロードされてる状況で使います。 いわゆるモダンデータスタック（MDS）を構成する技術スタックの一部に挙げられることが多くなってきています。 また dbt はアドホックなコードでカオスに陥ってしまいがちなアナリティクスエンジニアが、バージョン管理や CI などのメリットを享受しソフトウェアエンジニアのように働くための一助にもなり得るツールです。
スクラムフェス福岡2024での講演資料です。 --- 皆さん、職場でFour Keysを導入していますか？ Yesと答えた皆さん、『LeanとDevOpsの科学』は読みましたか？ あくまで僕の周囲のみの観測で語るのですが、Four Keysを職場で導入しているという人はとても多いので…
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 データ分析に於いて、「データオーケストレーション(Data orchestration)」という分野、カテゴリが存在します。端的に言うと「サイロ化されたデータを複数のストレージから一元化されたリポジトリに移動させ、そこで結合、クリーニング、エンリッチ化し、アクティブ化（ビジネス・インテリジェンス・ツールでのレポート作成など）するプロセス」(端的じゃなかった...) という定義となるのですが、2024年03月05日(火)に開催された『Data Engineering Study #23』にてこの「データオーケストレーション(Data orchestration)」を特集するということでイベントに参加(オンライン視聴)しました。 当エントリでは、その参加(視聴)内容についてざっくりではありますがレポ
![[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b3b596d5f14f08f5d17d2a8dc9e2fa0dc0823d5/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F03%2Fdata-engineering-study-23_1200x630.jpeg)
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（@i_125）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc
日本の空き家問題は新たなフェーズに突入しようとしています。 これまで人口減少が続く「地方の過疎地」の問題とされてきましたが、近年は県庁所在地などの都市部や大都市圏でも空き家が急増。そして団塊世代が平均寿命を超過し、多くの相続問題が発生する2040年に向けては、更に拍車がかかるといわれています。 今回NHKでは、明治大学の野澤千絵教授に協力を依頼。「2040年空き家数予測マップ」を作成し空き家問題の未来を可視化しました。分かってきたのは、いわゆる「人気の町」「人気のエリア」であっても空き家問題からは逃れられないという深刻な現実。 あなたの町、あなたの実家のある町は大丈夫ですか!? 必見のデータマップです。 野澤千絵さん / 明治大学政治経済学部教授 国土交通省の審議会委員 現場を訪ねデータ解析も用いて空き家や土地政策を研究 マップを見るポイント ―今回の2040年空き家予測マップの特筆すべき
本記事は株式会社ログラス Productチーム Advent Calendar 2022の20日目の記事になります。 昨日はtkamaiさんのto B SaaS企業を2社経験して感じた、プロダクトマネージャーに大切なことでした。 はじめに 昨今、開発生産性や開発者体験、Four Keys(DORA Metrics)にDeveloper Productivity Engineering(DPE)などの言葉を耳にする機会が少しづつ増えてきたように思います。 生産性可視化・改善の動きは弊社でも強まってきており、先月11月からログラス開発組織初のnot フィーチャーチーム、チームトポロジーで言う所のイネーブルメントチームが誕生しました。 私は上述のイネーブルメントチームの中で、特に開発生産性・体験の向上を役割として持つことになったため、開発生産性は個人的にもホットトピックです。 様々な企業の取り組
Agile Journeyをご覧のみなさん、はじめまして。株式会社リンクアンドモチベーションの川津（@KawatsuYusuke）です。こちらの記事では主に私たちがFour Keys メトリクスを元に、開発生産性向上を目指した活動に関する話題についてお伝えします。 と言っても、『LeanとDevOpsの科学』をはじめ、Four Keysの運用に関するトピックはすでに多く語られています。また、Four Keysは便利なメトリクスであるがゆえに、ときに「Four Keysを改善する」という手段が目的化してしまうことがあります。本稿では主にこれから開発生産性向上に取り組もうとしている方に向けて、私たちの取り組みと、体験したアンチパターンをもとに、「Four Keys改善の取り組みには "なぜ？" が大事」についてお伝えします。 私たちの開発生産性向上のはじまりと、目指すべき状態の設定 Four
組織が他のすべてを犠牲にして指標の最適化を行うと、自らを指標不正の危険にさらすことになる。そして、最終的には、Facebookのスキャンダルが示すように、ユーザーを裏切り、ビジネス目標を達成できなくなる恐れがある。 Campbell’s Law: The Dark Side of Metric Fixation by Page Laubheimer and Kate Moran on November 7, 2021 日本語版2022年5月17日公開 ビジネスで最も誤って引用される言葉の1つに、「測定できないものは管理できない」というものがある。この言葉（およびその言い換え）は、何かを改善するためには、それをとらえる正確な指標が1つ必要であり、改善のための努力が効果的かどうかを知るためにその指標を追跡する必要がある、という意味であることが多い。 興味深いのは、この「引用」が実際には元の言葉
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
