ROI事件ファイル No.339｜『TechWaveの10年間のデータ整備』

第一章:アップデートという矛盾——新しくなっても、手作業は残る

GlobalTech社の生産管理システム導入事件が解決した翌日、今度はデータ整備業務の自動化に関する相談が届いた。第二十七巻「再現性の追求」の第339話は、状況と行動と影響を紐解く物語である。

「探偵、我々は2年かけて、システムを大幅にアップデートしました。古いシステムを刷新し、拡張しやすいアーキテクチャに変えました。しかし、データ整備の手作業は、未だに残っています」

TechWave社 のシステム開発部長、東京出身の田村健一は、複雑な表情でベイカー街221Bを訪れた。彼の手には、システムアーキテクチャ図と、それとは対照的に「手作業:月120時間」と記された業務分析資料が握られていた。

「我々は、全国の家電量販店やECサイトから収集したPOSデータを配信する『BCNランキング・データサービス』を運営しています。このサービスは、既に10年以上前から提供しており、システムが老朽化していました」

TechWave社のサービス概要: - 設立:2005年 - サービス:BCNランキング・データサービス - 内容:家電POSデータの収集・分析・配信 - データ提供元:全国約2,800店舗 - 顧客:家電メーカー、マーケティング会社(約150社) - 問題:データ整備に月120時間の手作業が残る

田村の声には深い焦りがあった。

「2年前、我々は大規模なシステムアップデートを実施しました。老朽化したシステムを刷新し、データベースを最適化し、APIを整備しました。目的は、将来の拡張性を確保することでした。そして、今後も業務効率化を続けるためでした。

しかし、データ整備の手作業は、今も残っています。月120時間。3人の担当者が、毎月40時間ずつ、データのクレンジング、突合、修正を行っています」

典型的なデータ整備の作業:

作業1:データのクレンジング(月50時間) - POSデータには、店舗名の表記ゆれ、商品名の誤字、価格の異常値が含まれる - 例: - 店舗名:「ビックカメラ新宿店」「ビッグカメラ新宿店」「BicCamera新宿店」 - 商品名:「ソニー ヘッドフォン WH-1000XM5」「ソニー ヘッドホン WH1000XM5」 - 異常値:価格が「0円」「999,999円」 - 担当者が目視で確認し、手動で修正

作業2:データの突合(月40時間) - 同じ商品が、異なる店舗で異なる名称で登録されている - 標準商品マスタと突合し、商品コードを付与 - 担当者が1件ずつ確認

作業3:欠損データの補完(月30時間) - POSデータに欠損がある場合(例:価格が空欄) - 前週のデータや他店舗のデータから推定 - 担当者が判断し、手動で入力

田村は深くため息をついた。

「既存取引先のシステムベンダーには相談しています。しかし、『現状のシステムをさらに改修するには、追加で2,000万円かかる』と言われました。我々は、新規企業も含めて比較検討したいです。生成AIとRPAを組み合わせて、データ整備を自動化できないでしょうか?」

第二章:部分という誤解——全てを自動化する必要はない

「田村さん、データ整備の全てを自動化したいですか?」

私の問いに、田村は即答した。

「はい、理想は全て自動化です。しかし、現実的には難しいと思っています。だから、部分的にでも自動化したいです」

現在の理解(部分自動化型): - 認識:できるところから部分的に自動化 - 問題:どこから自動化すべきか、優先順位が見えていない

私は、現状の行動を分析し、影響の大きい部分から自動化する重要性を説いた。

「問題は、『どこから自動化するか』です。SBI分析——Situation、Behavior、Impact。状況、行動、影響。この3つを分析すれば、最も効果の高い自動化ポイントが見えてきます」

⬜️ ChatGPT｜構想の触媒

「全体を見るな。影響を見よ。SBIで最も効果の高い部分から自動化せよ」

🟧 Claude｜物語の錬金術師

「手作業は、いつも『繰り返し』の中にある。その繰り返しを見つけよ」

🟦 Gemini｜理性の羅針盤

「SBIは行動分析の技術。状況、行動、影響を分解し、改善の優先順位を決めよ」

3人のメンバーが分析を開始した。Geminiがホワイトボードに「SBIのフレームワーク」を展開した。

SBIの3要素: 1. Situation(状況):どんな状況で発生するか 2. Behavior(行動):どんな行動をしているか 3. Impact(影響):その行動がどんな影響を与えるか

「田村さん、データ整備の作業を、SBIで分解しましょう」

第三章:分解という発見——3つの作業の優先順位

Phase 1:SBI分析(2週間)

データ整備の3つの作業を、SBIで分析した。

作業1:データのクレンジング

Situation(状況): - POSデータに、店舗名の表記ゆれ、商品名の誤字、価格の異常値が含まれる - 発生頻度:月間約15,000件(全データの約5%)

Behavior(行動): - 担当者が目視で確認 - ルールに従って修正 - 店舗名:表記ゆれ辞書を参照し、標準名に修正 - 商品名:誤字パターンを参照し、修正 - 異常値:前週のデータや平均価格から推定 - 作業時間:50時間/月

Impact(影響): - 修正しないと、データの信頼性が低下 - 顧客からのクレームが発生 - 重要度:高

自動化の可能性: - 表記ゆれ辞書、誤字パターンは既に存在 - ルールベースの修正 → RPAで自動化可能 - 異常値の推定 → 生成AIで推定可能 - 自動化率:推定85%

作業2:データの突合

Situation(状況): - 同じ商品が、異なる店舗で異なる名称で登録 - 標準商品マスタと突合し、商品コードを付与 - 発生頻度:月間約8,000件

Behavior(行動): - 担当者が商品名を確認 - 標準商品マスタから類似商品を検索 - 商品コードを手動で付与 - 作業時間:40時間/月

Impact(影響): - 突合しないと、同一商品が別商品として集計される - ランキングデータの精度が低下 - 重要度:高

自動化の可能性: - 商品名の類似度検索 → 生成AIで類似商品を提案可能 - 最終的な判断は人間が必要(類似度が低い場合) - 自動化率:推定70%

作業3:欠損データの補完

Situation(状況): - POSデータに欠損(例:価格が空欄) - 前週のデータや他店舗のデータから推定 - 発生頻度:月間約3,000件

Behavior(行動): - 担当者が欠損パターンを確認 - 補完方法を判断(前週データ、他店舗データ、平均値等) - 手動で入力 - 作業時間:30時間/月

Impact(影響): - 補完しないと、データが不完全になる - しかし、補完しなくてもサービスは継続可能(データ欠損として表示) - 重要度:中

自動化の可能性: - 補完方法は、ある程度パターン化されている - 生成AIで推定可能 - 自動化率:推定60%

SBI分析の結果:

結論: - まず、クレンジング(月50時間)を自動化 - 次に、突合(月40時間)を自動化 - 欠損補完は、優先度低

第四章:段階的という戦略 — 6ヶ月後の成果

Phase 2:ベンダー選定(4週間)

生成AI×RPAに対応できる3社を比較検討した。

選定結果:ベンダーH社 - 生成AI(GPT-4ベース)とRPAを組み合わせたデータ整備ツール - 初期導入費用:480万円 - 年間保守費用:120万円 - 導入期間:3ヶ月

Phase 3:段階的導入(6ヶ月)

Step 1:クレンジングの自動化(Month 1-3)

RPA部分: - 表記ゆれ辞書に基づき、店舗名を自動修正 - 誤字パターンに基づき、商品名を自動修正

生成AI部分: - 異常値(価格0円、999,999円等)を検出 - 前週のデータ、他店舗のデータ、平均価格から推定 - 推定値を提案(最終判断は人間)

結果: - 自動修正:12,750件(15,000件の85%) - 人間確認が必要:2,250件(15%) - 作業時間:50時間/月 → 8時間/月(84%削減)

Step 2:突合の自動化(Month 4-6)

生成AI部分: - 商品名から、標準商品マスタの類似商品を検索 - 類似度スコア(0〜100%)を算出 - 類似度80%以上:自動付与 - 類似度50〜79%:人間に提案 - 類似度49%以下:人間が判断

結果: - 自動付与:5,600件(8,000件の70%) - 人間判断が必要:2,400件(30%) - 作業時間:40時間/月 → 12時間/月(70%削減)

Step 3:欠損補完の自動化(保留)

判断: - 優先度が低いため、まずはStep 1, 2の効果を検証 - 将来的に自動化を検討

6ヶ月後の成果:

作業時間の削減:

Before: - クレンジング:50時間/月 - 突合:40時間/月 - 欠損補完:30時間/月 - 合計:120時間/月

After: - クレンジング:8時間/月 - 突合:12時間/月 - 欠損補完:30時間/月(未着手) - 合計:50時間/月

削減:70時間/月(58%削減)

年間削減時間: - 70時間/月 × 12ヶ月 = 840時間/年

金額効果: - 840時間 × 4,000円(時給) = 336万円/年

投資回収: - 導入費用:480万円 - 年間削減効果:336万円 - 年間保守費用:120万円 - 実質削減効果:216万円/年 - 投資回収期間:2.2年

データ精度の向上:

Before: - クレンジング誤り率:2.5%(人間の目視ミス) - 突合誤り率:3.8%(人間の判断ミス)

After: - クレンジング誤り率:0.8%(生成AIの推定精度向上) - 突合誤り率:1.2%(生成AIの類似度検索精度向上)

顧客からのクレーム: - Before:月平均3.5件(データ誤りに関するクレーム) - After:月平均0.8件(77%削減)

組織の変化:

データ整備担当者の声:

担当者A: 「以前は、毎月50時間をデータのクレンジングに費やしていました。目視で確認し、1件ずつ修正する。単調で疲れる作業でした。でも、RPAと生成AIが導入されてから、作業時間が8時間に減りました。

そして、私の仕事が変わりました。以前は『修正作業者』でしたが、今は『確認者』です。AIが提案した修正を確認し、承認するだけです。そして、浮いた時間を、データ分析やレポート作成に充てています」

担当者B: 「突合作業は、商品名から類似商品を探す作業でした。『ソニー ヘッドフォン WH-1000XM5』と『ソニー ヘッドホン WH1000XM5』が同じ商品だと判断するのは、簡単です。でも、『ソニー WH-1000XM5』と『WH-1000XM5 ワイヤレスヘッドホン』が同じかどうかは、判断が難しいです。

生成AIは、類似度スコアを算出してくれます。80%以上なら自動付与、50〜79%なら提案。これで、作業時間が70%削減されました。そして、誤り率も下がりました」

田村の感想:

「SBI分析を実施するまで、我々は『どこから自動化すべきか』が見えていませんでした。3つの作業全てを同時に自動化しようとしていました。

しかし、SBIで状況、行動、影響を分析したことで、優先順位が明確になりました。クレンジング(月50時間、重要度:高、自動化率:85%)が最優先。次に突合(月40時間、重要度:高、自動化率:70%)。欠損補完は、優先度が低いため保留。

段階的に自動化したことで、6ヶ月で月70時間(58%)の削減を実現しました。そして、データ精度も向上し、顧客クレームが77%削減されました。

全てを一度に自動化する必要はありませんでした。影響の大きい部分から、段階的に自動化すれば良かったのです」

今後の展開:

12ヶ月後の計画: - 欠損補完の自動化に着手 - 推定自動化率:60% - 追加削減時間:18時間/月

18ヶ月後の目標: - データ整備の合計作業時間:120時間/月 → 32時間/月(73%削減) - 年間削減時間:1,056時間 - 年間削減効果:422万円

拡張性の確保: - 2年前のシステムアップデートで、APIを整備 - 今後も新しい自動化ツールを追加しやすい

第五章:探偵の診断 — 影響の大きい部分から、段階的に

その夜、段階的自動化の重要性について考察した。

TechWave社は、「全てを自動化したい」という理想を持っていた。しかし、どこから手をつけるべきかが見えていなかった。

SBI分析で状況、行動、影響を分解したことで、優先順位が明確になった。クレンジング(月50時間、自動化率85%)を最優先し、次に突合(月40時間、自動化率70%)。段階的に自動化したことで、6ヶ月で58%の削減を実現した。

「全てを一度に自動化するな。影響の大きい部分から、段階的に自動化せよ。SBIで状況、行動、影響を分析し、優先順位を決めよ」

次なる事件もまた、段階的に改善する瞬間を描くことになるだろう。

「Situation、Behavior、Impact。この3つで行動を分解せよ。影響の大きい部分から、段階的に自動化せよ。全てを一度に変える必要はない」——探偵の手記より

関連ファイル