株式会社CARTA MARKETING FIRMでDSP(Demand-Side Platform)の開発をしている機械学習エンジニアのmikanfactoryです。特にMLOpsを担当しています。 背景 当社のDSPでは、配信ログを用いた機械学習モデルによる配信最適化を行っています。データパイプラインはSnowflake+dbtで構築し、Prefectを使用して機械学習モデルの構築・デプロイを実施しています。 サービスの成長に伴い、データパイプラインのコストは徐々に上昇傾向にありました。特に12月中旬には大幅なコスト増加が発生し、さらに年末年始の繁忙期を控えていたため、早急なコスト対策が必要となりました。 データパイプライン 図のような構成となっていました（※わかりやすくするために一部加工してあります）。 改善方針 影響範囲を最小限に抑えるため、上流（テーブルA、B）ではなく下流のテーブ
