好文分享 - Continuous Data Quality Monitoring for AWS Athena

先前工作有幸能碰到資料品質監測(data quality monitoring)的議題,之所以會需要監控資料品質是因為服務每日需要的資料量實在大到無法一筆一筆檢測是否有問題,只好以宏觀角度來看資料品質是否有問題。 整個做法就跟 “Continuous Data Quality Monitoring for AWS Athena” 一文提到的很像:

  1. 先定義哪些數據指標可以代表資料的品質,例如每小時的交易量、資料新增筆數、全日資料異動筆數等等,這些如果有一些日常維運的經驗的話,就可以很快的訂出來,如果沒有的話,就需要先廣泛收集一段日子的數據,然後從中彙整出你感興趣或對監測有用的數據,以試看看是否對監控有所幫助
  2. 定義出關鍵指標之後,就得進一步衡量要以怎樣的節奏持續進行監控,例如每小時監控一次,還是每天監控一次?這個節奏除了會影響我們發現問題的速度之外,也會考驗系統能多快彙整出這些指標的能力,通常越快越花錢⋯⋯
  3. 把關鍵指標的數據存起來,由於業務會有成長以及衰退等變動的問題,所以這些關鍵指標的數據必須存起來,除了供我們查詢歷史數據之外,也可以進一步拿來做一些異常偵測(anomaly detection)功能
  4. 視覺化,除了方便團隊成員查看數據之外,通常也可以在圖表上迅速找到問題所在。個人的實務經驗是有些數據看似正常,但其實已經出現問題,例如電商的商品總數量呈現緩跌的趨勢,其實就是一種異常,但是關鍵指標可能無法在第一時間就偵測到這樣的問題,這時候通常看視覺化圖表就可以迅速發現問題

這篇文章除了開頭的心法之外,後面介紹利用 AWS 的相關服務進行資料品質監測的部分也很有參考價值:

Continuous Data Quality Monitoring for AWS Athena

FOLLOW US

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!