「とりあえずデータ置き場に入れた」あとで必ず詰まる場所

データ基盤を作ろう、という話になったとき。最初の一歩は、たいていうまくいきます。

各システムからデータを出して、クラウドのデータ置き場に入れます。ここまでは、手順が公開されていますし、詰まっても検索すれば答えが出ます。

問題はそのあとです。入れたのに使われない、という状態が半年ほど続きます。原因は毎回だいたい同じところにあります。

詰まる場所1：同じ意味の数字が複数ある

一番多いのがこれです。

販売管理から入れた売上と、会計から入れた売上と、ECの管理画面から入れた売上。3つとも「売上」という名前で入っていて、値が違います。

違って当然です。税込と税抜、キャンセル分の扱い、計上のタイミングなどです。それぞれの業務にとって正しい定義が違うためです。

問題は、どれを使うべきかが書かれていないことです。使う側は判断できないので、結局これまで通り自分の慣れた画面を見ます。データ置き場は空振りします。

先に決めておくべきは、名前ではなく定義です。「経営会議で使う売上は、税抜・キャンセル控除後・出荷日基準」のように書きます。この1行があるだけで変わります。

最初は手で入れます。動作確認も兼ねているので、それ自体は自然な進め方です。

問題は、自動化しないまま運用に入ってしまうことです。担当者が忙しい月は更新されず、そのうち誰も見なくなります。

自動化は、完璧を目指さなくて構いません。1日1回、決まった時間に動くようにするだけで、手動の運用とは別物になります。

クラウドのデータ置き場は、保管する量と、読み込む量で課金される仕組みが一般的です。

怖がられるのは読み込みのほうです。集計のたびに大きな表を丸ごと読むと、それだけ費用がかかります。ダッシュボードの自動更新を5分おきに設定していて、月末に請求を見て驚く、という事故も起きます。

対策は3つです。日付でデータを区切って保存し、読む範囲を狭めることです。よく使う集計は、あらかじめ小さな表として作っておくことです。そして、費用の上限アラートを設定しておくことです。

上限アラートは最初に入れてください。多くのクラウドサービスに、予算を設定してメール通知する機能があります。金額を決めて有効にするだけです。

検証中は、担当者の権限を強めにして進めます。そのまま本番運用に入ると、誰でも全部のデータを見られる状態が残ります。

人事や個人情報を含むデータを入れる段階で、これは問題になります。あとから権限を整理するのは、最初から設計するより手間がかかります。

最低限、次の3つに分けておけば足ります。

着手前に決めておくのは、次の4つだけです。

この4つは、技術の話ではありません。会議で決められる話です。決めてから入れるか、入れてから困るか。差はそこだけです。

すでに入れてしまった場合も、やることは同じです。使われていない原因が4つのどれかを特定して、そこから手をつけてください。全部を作り直す必要は、ほとんどありません。