dataflow

会員IDとメールアドレスは1対1ではない。散らばったバウンスリストをまとめるときに踏みやすい落とし穴と、統合の手順を整理する。

生データ層・中間層・提供層の3層構成、取り込みの3経路、冪等性の担保、コストと失敗の監視まで。BigQueryを中心にしたデータ取り込みの型を整理する。

遅延データ、重複、テーブル名の不一致、スキャン量。KARTE Datahub とBigQueryの連携を運用し続けるときに効いてくる勘所を整理する。

KARTE Datahub と BigQuery をつなぐときに最初に決める、連携方式・リージョン・権限・書き込みモードの4点を整理する。