微軟(Microsoft)發布針對 Generative AI 系統的開放自動測試框架
覺得我們的內容實用嗎？ MyApollo 電子報讀者募集中！歡迎訂閱電子報!
你有開發過生成式 AI 的相關應用嗎？那你如何評估你的 AI 應用安不安全以及有沒有風險呢？
關於 AI 可能面臨的風險/攻擊，微軟可能比我們更有經驗。（早在 2016 年，微軟就曾遇過 AI 對話程式 Tray 上線不到 1 天就被教壞的經驗）
微軟在 2024/02/22 發布 1 款稱為 PyRIT 的測試框架，可以讓我們針對生成式 AI 做一些風險評估，譬如測試語言模型會不會存在騷擾、偏見、幻覺、禁用字、 prompt 漏洞、被用來產生惡意軟體等情況，測試方式主要是送出惡意的 prompt 得到語言模型的反應，並交給評分引擎(Scoring Engine)進行評分，這個評分的結果甚至可以作為回饋，產生下一次的測試 prompt (總感覺 Crackers 也會從這個框架做出攻擊程式⋯⋯）。
雖然自動化工具相當方便，不過微軟也說 PyRIT 也不能夠取代手動測試(manual probing)，兩者還是需要相互搭配才行。
話說回來，稍微看了一下 PyRIT GitHub, 感覺文件的部分還不夠好之外，也知道為什麼微軟說 PyRIT 也不能夠取代手動測試的原因了，除了現階段做 Gen AI 的測試框架算是很新的領域之外，測試程式的開發也需要同時對 Gen AI, 程式語言、測試框架具有一定程度理解的人投入才行啊⋯⋯
關於更多 PyRIT 可以看微軟官方 Blog:
Announcing Microsoft’s open automation framework to red team generative AI Systems
PyRit GitHub:
