資安新聞 — 小心你用的 AI/ML models 有毒！
覺得我們的內容實用嗎？ MyApollo 電子報讀者募集中！歡迎訂閱電子報!
The Hacker News 報導知名的 AI/ML 資源平台 Hugging Face 上面查出多達 100 個惡意 AI/ML 模型，這些惡意模型的種類包含載入惡意的 pickle 檔案、開啟後門、執行任意程式等等，攻擊手法主要是載入模型的時候執行惡意程式碼，進而入侵受害者的機器，例如有些模型使用 pickle 格式，執行不受信任的 pickle 檔案，相當於給了惡意人士可趁之機。
新聞來源： Over 100 Malicious AI/ML Models Found on Hugging Face Platform
看來現在開始挑 AL/ML 模型也要挑可受信任的來源/開發團隊，而且未來還要注意會出現更多針對 AI/ML 的攻擊手法，譬如該新聞所提及的 ComPromptMized 。
ComPromptMized 的核心概念是藉由惡意 prompt 攻擊具有 GenAI 功能的系統，並像網路蠕蟲(worm)一樣進行擴散，例如用 GenAI 自動運作的 email 服務（譬如用 GenAI 自動回信、轉寄），這個惡意 prompt 可以讓被攻擊的 GenAI 系統安裝惡意程式/執行不受控的行為，並透過相同手法擴散感染其他人或 GenAI 系統，最要命的是這些過程還可以做到不需要使用者點擊/行為參與就能夠有攻擊效果⋯⋯。
關於更多 ComPromptMized 。
