本日は朝から夜の１０時までぶっ続けでデータモデリングとSQLiteを使ったPythonのライブラリ開発。
データドリブンやるには、一旦、職場内のバラバラなExcelデータをSQLデータベースへ集約したい。テーブル間でリレーションを持たせたい。非構造化データはJSONでSQLへ保存したい。SQLで各種検索やデータ抽出をやりたい。
いやー、この手の仕事始めてから、データクレンジング、データ正規化、自然言語処理でキーワード抽出、辞書ベースのマッチングと分類、モデリング、SQLへ集約。。。気が遠くなるほど膨大な作業。いつになったら先が見えるのか。。。
この苦労、バラバラなExceデータをつくりだした方々に分かるか？分からないだろうな。。。それで、データドリブンとか言って、適当なダッシュボードへKPI提示して誤魔化す気配あり。。。自己の陣地守るため権力使って改革者を潰し改革を阻止。だから働き方は変わらないしDXは進まない。
