Trustwave 的研究人員測試了 ChatGPT 對源代碼進行分析和提高代碼安全性建議的能力，結果顯示 ChatGPT 可以提供一些有用的建議來改進代碼安全性。測試包括探測 ChatGPT 是否能夠揭示代碼中的緩衝區溢出等問題。研究人員提供了大量代碼供 ChatGPT 分析，觀察其反應。然而，他們發現 ChatGPT 的回應結果並不一致。
當被問及如何提高代碼安全性時，研究人員表示，ChatGPT 建議增加緩衝區的大小。ChatGPT 提出的其他建議還包括使用更安全的輸入數據函數和動態分配記憶體。研究人員發現，ChatGPT 可以根據其建議中的任何修復方法重構代碼，例如使用動態記憶體分配。儘管存在限制，研究人員認為 ChatGPT 可以用於支持源代碼分析。
他們表示，ChatGPT 對於生成基礎代碼和單元測試特別有用，因為這些任務需要最少的上下文並更關注傳遞的參數。然而，當提供更大的代碼塊或不太直觀的問題時，ChatGPT 無法很好地識別它們。
Trustwave 的威脅情報經理 Karl Sigler 表示，ChatGPT 在代碼方面表現良好且足夠靈活，能夠回應許多不同的請求。他認為 ChatGPT 可以成為「程序員的好朋友」，幫助他們了解新編程庫中提供的應用程序編程接口和功能。由於 ChatGPT 可以理解人類語言，Sigler 認為有很多潛力可以利用 ChatGPT 來幫助檢查規範文檔和合規策略中的誤解。
在未來的兩到五年中，Sigler 預計 ChatGPT 和其他生成式 AI 系統將成為軟件開發生命周期的一部分。
