白話文解說 Fuzz Testing / Fuzzing
先前提過覆蓋率 100% 不代表程式具有強固性,所以在測試的案例設計上,要細心與用點心思才能確保程式能夠如預期般正確運作。
但是有些安全性問題或是邏輯漏洞不見得是能輕易想到或測到的,所以要花相對多成本進行測試,雖然絕大多數使用者都不會遇到這些問題,但是不代表這些問題不會對產品或公司商譽造成影響。
這種隱藏在程式深處的問題相當難找,但有 1 種測試技術能夠讓我們稍微輕鬆一些,那就是模糊測試 (Fuzz testing, 或稱 Fuzzing) 。
它的核心概念就是用亂數隨機輸入的方式對程式進行測試,譬如對某個欄位輸入隨機字串測試是否會引起程式異常,譬如特斯拉的「開元路土魠魚羹」會引起螢幕當機的這個知名問題,其實「有機率」可以用模糊測試找到,做法上可以隨機產生各國文字輸入到系統之中,就「有可能」找到有問題的文字,之所以強調「有機率、有可能」是因為取決於測試的隨機程度以及條件,如果隨機字串產生方式只限定於英文與西班牙文,那就不會找到中文限定的問題,這也衍伸出模糊測試所需要的時間相對於單元測試、整合測試、回歸測試來得更久。
根據經驗,大多數的公司很少導入模糊測試,通常都是單元測試、整合測試或人工測試沒問題就能夠上線 / release, 但是有幾種情況比較容易接觸到模糊測試:
- 對資安或者強固性相當要求的產品可能會再額外做模糊測試
- 黑箱測試,在不知道程式碼的情況下對程式做隨機輸入測試,藉此了解程式行為與穩固性(通常這種都是受委託的測試單位,在不能查看原始碼的情況下進行測試)
總之,如果你的產品或者部分關鍵功能對於 stability, reliability 以及 security 有相對高的要求的話,可以考慮導入模糊測試,相信能夠得到一些收穫!