好文分享 - Continuous Data Quality Monitoring for AWS Athena
覺得我們的內容實用嗎？ MyApollo 電子報讀者募集中！歡迎訂閱電子報!
先前工作有幸能碰到資料品質監測(data quality monitoring)的議題，之所以會需要監控資料品質是因為服務每日需要的資料量實在大到無法一筆一筆檢測是否有問題，只好以宏觀角度來看資料品質是否有問題。 整個做法就跟 “Continuous Data Quality Monitoring for AWS Athena” 一文提到的很像：
- 先定義哪些數據指標可以代表資料的品質，例如每小時的交易量、資料新增筆數、全日資料異動筆數等等，這些如果有一些日常維運的經驗的話，就可以很快的訂出來，如果沒有的話，就需要先廣泛收集一段日子的數據，然後從中彙整出你感興趣或對監測有用的數據，以試看看是否對監控有所幫助
- 定義出關鍵指標之後，就得進一步衡量要以怎樣的節奏持續進行監控，例如每小時監控一次，還是每天監控一次？這個節奏除了會影響我們發現問題的速度之外，也會考驗系統能多快彙整出這些指標的能力，通常越快越花錢⋯⋯
- 把關鍵指標的數據存起來，由於業務會有成長以及衰退等變動的問題，所以這些關鍵指標的數據必須存起來，除了供我們查詢歷史數據之外，也可以進一步拿來做一些異常偵測(anomaly detection)功能
- 視覺化，除了方便團隊成員查看數據之外，通常也可以在圖表上迅速找到問題所在。個人的實務經驗是有些數據看似正常，但其實已經出現問題，例如電商的商品總數量呈現緩跌的趨勢，其實就是一種異常，但是關鍵指標可能無法在第一時間就偵測到這樣的問題，這時候通常看視覺化圖表就可以迅速發現問題
這篇文章除了開頭的心法之外，後面介紹利用 AWS 的相關服務進行資料品質監測的部分也很有參考價值：
