微軟(Microsoft)發布針對 Generative AI 系統的開放自動測試框架

你有開發過生成式 AI 的相關應用嗎?那你如何評估你的 AI 應用安不安全以及有沒有風險呢?

關於 AI 可能面臨的風險/攻擊,微軟可能比我們更有經驗。(早在 2016 年,微軟就曾遇過 AI 對話程式 Tray 上線不到 1 天就被教壞的經驗)

微軟在 2024/02/22 發布 1 款稱為 PyRIT 的測試框架,可以讓我們針對生成式 AI 做一些風險評估,譬如測試語言模型會不會存在騷擾、偏見、幻覺、禁用字、 prompt 漏洞、被用來產生惡意軟體等情況,測試方式主要是送出惡意的 prompt 得到語言模型的反應,並交給評分引擎(Scoring Engine)進行評分,這個評分的結果甚至可以作為回饋,產生下一次的測試 prompt (總感覺 Crackers 也會從這個框架做出攻擊程式⋯⋯)。

雖然自動化工具相當方便,不過微軟也說 PyRIT 也不能夠取代手動測試(manual probing),兩者還是需要相互搭配才行。

話說回來,稍微看了一下 PyRIT GitHub, 感覺文件的部分還不夠好之外,也知道為什麼微軟說 PyRIT 也不能夠取代手動測試的原因了,除了現階段做 Gen AI 的測試框架算是很新的領域之外,測試程式的開發也需要同時對 Gen AI, 程式語言、測試框架具有一定程度理解的人投入才行啊⋯⋯

關於更多 PyRIT 可以看微軟官方 Blog:

Announcing Microsoft’s open automation framework to red team generative AI Systems

PyRit GitHub:

https://github.com/Azure/PyRIT/tree/main

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

追蹤新知

看完這篇文章了嗎?還意猶未盡的話,追蹤粉絲專頁吧!

我們每天至少分享 1 篇文章/新聞或者實用的軟體/工具,讓你輕鬆增廣見聞提升專業能力!如果你喜歡我們的文章,或是想了解更多特定主題的教學,歡迎到我們的粉絲專頁按讚、留言讓我們知道。你的鼓勵,是我們的原力!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!