用電腦整理資料, 資料正規化是基礎, 不過還有更基礎的, 資料類型跟格式.
- 資料類型, 例如: 純文字, 數字, 日期等.
- 格式則是: 文字長度, 數字的範圍等.
這兩個的重要性, 是因為人處理資料有很大的彈性, 但電腦沒有.
比如一般的軟體, 不會處理1k, 1m; 會處理的, 可能還會分1k=1000或1K=1024, 所以每套軟體處理方式都不同, 在處理資料時就容易錯誤.
而寫程式時就需要注意, 如果資料有可能用多套軟體處理, 就要有一致的類型或格式, 例如: 產線電腦要估算不同設備回傳的資料, 除了生產前調整日期時間外, 接著就是每天統計時, 要把日期格式一致, 才能統計跟分析.
假如使用Excel+VBA, 就可以這樣處理:
- 開啟設備的資料檔, 撈取一定範圍的資料(例如: 日報通常是抓"昨天"), 複製到日報的一個工作表.
- 在工作表沒有用到的欄, 用VBA讀資料黨的生產日期/時間欄, 然後轉成一致的日期格式.
- 在日報的原料與產量欄, 再統計"昨天"的用量跟產量來比較.
而前面的第二步, 就有幾種格式:
- 資料檔本身就是用Excel或類似檔案, 格式原本就是日期, 則直接複製.
- 資料檔使用純文字格式(或CSV結構), 日期會標記成"2021/1/1"或"2021/01/01"或"2021.01.01"或"20210101"等, 就可以透過VBA寫個小程式, 判斷常見的類型, 再寫到指定的欄位.