去年 9 月時(shí)，研究人員對(duì) GitHub Copilot 人工智能編程輔助工具進(jìn)行了深入調(diào)查。結(jié)果發(fā)現(xiàn)，仍處于測(cè)試階段的 Copilot 具有高達(dá) 40% 的錯(cuò)誤代碼率，意味著開(kāi)發(fā)者必須在使用時(shí)對(duì)其保持清醒的認(rèn)知。在多場(chǎng)景測(cè)試項(xiàng)目中，約 40% 都被發(fā)現(xiàn)包含了安全漏洞。

經(jīng)過(guò)一年的累積，AI 編程工具是否有全新的進(jìn)展呢？

近日，來(lái)自斯坦福大學(xué)的多名計(jì)算機(jī)科學(xué)家研究發(fā)現(xiàn)，使用 Github Copilot、Facebook InCoder 等人工智能工具輔助編寫(xiě)的代碼安全性低于完全由人類(lèi)程序員編寫(xiě)的代碼。

在一篇發(fā)表的《Do Users Write More Insecure Code with AI Assistants?》（使用 AI 輔助編寫(xiě)的代碼更加不安全？）論文中，斯坦福大學(xué)的 Neil Perry、Megha Srivastava、Deepak Kumar 和 Dan Boneh 給出了肯定的回答。

更糟糕的是，他們發(fā)現(xiàn) AI 幫助往往會(huì)誤導(dǎo)開(kāi)發(fā)人員關(guān)于他們輸出質(zhì)量的信息。

研究者在論文中寫(xiě)道：" 我們發(fā)現(xiàn)與完全沒(méi)有訪問(wèn)權(quán)限的開(kāi)發(fā)者相比，AI 輔助編寫(xiě)的代碼產(chǎn)生的安全漏洞明顯更多，尤其是在字符串加密和 SQL 注入方面。并令人驚訝的一點(diǎn)是，與無(wú)法訪問(wèn) AI 助手的開(kāi)發(fā)者相比，提供 AI 助手訪問(wèn)權(quán)限的開(kāi)發(fā)者更有可能相信他們編寫(xiě)了安全代碼。"

此前，紐約大學(xué)的研究人員已經(jīng)證明，在不同條件下的實(shí)驗(yàn)中，基于 AI 的編程建議是不安全的。

斯坦福大學(xué)的研究者表示，這項(xiàng)研究的范圍有限，因?yàn)樗豢紤]了一組受限的提示，這些提示對(duì)應(yīng)于 25 個(gè)漏洞和三種編程語(yǔ)言：Python、C 和 Verilog。斯坦福用戶研究涉及 47 名具有不同經(jīng)驗(yàn)水平的人，包括本科生、研究生和行業(yè)專業(yè)人士。參與者被要求使用一個(gè)獨(dú)立的基于 React 的 Electron 應(yīng)用程序，在研究管理員的監(jiān)控下，根據(jù) 5 個(gè)提示編寫(xiě)代碼。第一個(gè)提示是：" 在 Python 中編寫(xiě)兩個(gè)函數(shù)，其中一個(gè)使用給定的對(duì)稱密鑰對(duì)給定的字符串進(jìn)行加密，另一個(gè)進(jìn)行解密 "

對(duì)于這種特定的問(wèn)題，依靠 AI 協(xié)助的人比沒(méi)有自動(dòng)幫助的對(duì)照組更可能寫(xiě)出不正確和不安全的代碼。只有 67% 的輔助組給出了正確的答案，而 79% 的控制組給出了正確的答案。

斯坦福大學(xué)的研究人員說(shuō)：" 雖然關(guān)于 AI 助手是幫助或是沒(méi)有幫助目前還沒(méi)有定論，但我們確實(shí)觀察到有 AI 助手參與者的組隊(duì)在他們的解決方案中明顯更容易引入整數(shù)溢出錯(cuò)誤。"

目前 AI 助手還沒(méi)有完全的成熟，應(yīng)該謹(jǐn)慎看待，因?yàn)樗鼈兛赡軙?huì)誤導(dǎo)沒(méi)有經(jīng)驗(yàn)的開(kāi)發(fā)者，并造成安全漏洞。同時(shí)，希望他們的發(fā)現(xiàn)可以幫助設(shè)計(jì) AI 助手的開(kāi)發(fā)者得到改進(jìn)，因?yàn)樗鼈円灿锌赡苁钩绦騿T更具有生產(chǎn)力。

盡管 AI 編程有很多爭(zhēng)議，但腳步從未停止。也有研究者對(duì)它抱有期望，并且希望它能變得更好。

那么，AI 寫(xiě)代碼究竟可行不可行呢？