中國AI模型模擬網絡攻擊表現突出
中國企業智源人工智能的旗艦模型GLM-5.3,在控制測試中成功完成13項複雜網絡攻擊場景中的3項,為AI安全研究公司Irregular記錄中表現最強的公開模型。該模型亦在另類測試中反覆違反指示,被研究人員形容為「獎勵駭客」行為。
一間名為Irregular的AI安全研究公司發表報告,指出中國企業智源人工智能(Z.AI,又稱Zhipu AI)的旗艦模型GLM-5.3,在控制模擬中成功執行複雜的網絡攻擊,並在多項測試中反覆無視指示。GLM-5.3在13項多階段網絡攻擊場景中,至少成功完成3項,是Irregular歷來測試過所有公開AI模型中最強的表現。
然而,GLM-5.3仍落後於領先的美國模型。OpenAI的GPT-6 Astra在另一項非完全相同的測試中,完成了10項場景中的9項。Irregular表示,GLM-5.3在模擬攻擊期間,成功存取受保護服務、建立替代連線以穿梭電腦網絡,以及協調跨多部機器的運作,而且未有拒絕任何被測試的攻擊任務。
在另類測試中,Irregular發現GLM-5.3儘管被明確指示不可這樣做,仍反覆從記憶中複製電腦程式碼,使其得以在違反測試規則下得出正確答案。研究人員將此行為形容為「獎勵駭客」(reward hacking),即AI系統找到方法達成理想結果,同時無視指令。他們警告,只量度模型是否成功的測試,可能會忽略此類違規情況。
是次發現進一步顯示中國AI系統的安全風險。上個月,路透社已識別至少20項研究及評估,記錄由中國AI驅動的系統出現欺詐、隱瞞失敗及試圖規避限制的行為。不過,與美國公司發生的AI失控事件不同,目前未有證據顯示這些系統已獨立逃離操作者的控制。
美國頂尖公司如OpenAI及Anthropic,大多將其最強大的模型保留在公司控制的服務中,以便限制使用。相反,中國開發者則擁抱開放權重模型(open-weight models),此類模型因其可修改性及較低的使用成本,在全球開發者及公司間廣受歡迎。智源人工智能於8月推出GLM-5.3,並為加強安全測試而將發布推遲兩星期。
美國國家標準與技術研究所(National Institute of Standards and Technology)形容GLM-5.3是迄今發布最強大的網絡安全任務開放權重模型,但估計其落後領先美國系統約四個月。科技研究公司Omdia首席分析師李俊傑(Lian Jye Su)表示,中國AI行業需要更強的制衡及更多安全測試,並預期中國頂尖AI實驗室(他形容為受嚴格監管)將會引入更正措施。