AI 工程師 Devin 也許只是行銷手段高於創新的服務
覺得我們的內容實用嗎？ MyApollo 電子報讀者募集中！歡迎訂閱電子報!
先前各大新聞媒體爭相報導的 AI 工程師 Devin 在最近被爆出是個謊言(lie)，原因是研發 Devin 的 Cognition Labs 表示 Devin 已經在知名接案平台 Upwork 完成專案，但它其實並沒有真正完成專案，而且 Devin 的 Demo 影片透過剪接手段，讓觀看者誤以為 AI 已經能夠取代程式設計師，但其實仔細看的話，可以發現一些端倪跟漏洞，這些細節被 Internet of Bugs 的 Youtube 頻道主揭露（詳細可以看遠見雜誌整理的懶人包）。
恰好的是， Devin 宣稱完成的 Upwork 專案的案主，也是 1 名 Youtuber, 其頻道名為 “Computer vision engineer” ，該創作者也特別發布影片 Devin didn’t solve my computer vision project 闡述他所發包的專案細節，並陳述 Devin 最終並沒有完成他的專案這件事。
長話短說，案主只是想要 1 個關於道路損壞的影像推論模型(inference model)能夠在 AWS EC2 上編譯成功，因為案主所提供的 repository 已經是 4 年前所開發的程式碼，很多套件都已經更新，或者有一些問題存在，導致該推論模型無法正確編譯，案主不想浪費時間，所以選擇發包，而 Devin 最終的執行結果卻是使用該模型對某些圖片進行推論，並產生模稜兩可的幾項數據，而這些結果也不是案主所要求的⋯⋯，所以它並沒有如宣稱般完成專案。（目前 Cognition Labs 仍未對此事進行回應）
這件事其實也可以看到目前 AI 的短板：
- AI 所產出的內容會受限於訓練資料的新舊、品質的限制
- AI 不擅長解決超出其模型範疇的問題，特別是沒遇過的問題，就容易產生 hallucination
- AI 可能會瞎忙，自己製造錯誤，自行修復錯誤（應該是 hallucination 導致瞎忙⋯⋯）
這些短板讓完全取代人腦這件事顯得仍有一段差距。
看來，工程師們又多了好幾集可以逃。