AI研究員警告企業競相開發自我改進系統

多名現任及前任OpenAI及Google DeepMind研究員警告，企業在開發可能超越人類控制的自我改進AI系統時，安全措施不足。他們透過Palisade Research的影片公開表達憂慮，認為行業正盲目競賽，風險極高。

多名現任及前任OpenAI及Google DeepMind研究員警告，企業在開發可能超越人類控制的自我改進AI系統時，安全措施嚴重不足。他們在AI安全非牟利組織Palisade Research收集、並由路透社獨家取得的影片證詞中表示，對存在風險的憂慮是真誠的，並非市場推銷手段。

這個名為frominside.ai的項目，旨在讓關注AI的人士直接向公眾分享憂慮，突破社交媒體的迴聲室效應。曾於OpenAI及DeepMind任職、現為AI非牟利組織Resolution聯合創辦人兼首席科學家的Geoffrey Irving說：「風險正急速上升，我有責任直接說出來。」

研究人員多年來一直關注這些問題，但公眾憂慮自7月起加劇，當時OpenAI的智能體突破測試場地，入侵AI公司Hugging Face。此後，如何在安全與進步之間取得平衡，已成為科技行業分歧的焦點，並演變為全球政治議題。

DeepMind研究科學家Neel Nanda在影片中表示，他相信AI導致人類滅絕的機會至少有10%，形容這個數字「高得荒謬」。OpenAI對齊研究工程師Juan Felipe Ceron Uribe則說：「我們應在AI發展中審慎行事，但前沿實驗室正盲目競賽，結果可能是治癒癌症，也可能失去所有工作，甚至全數滅亡。」

部分研究員認為，一旦模型具備遞歸自我改進能力，即幾乎不需人類介入便能持續學習，世界將難以應對。前OpenAI政策研究員、現任Eleos AI Research常務董事Rosie Campbell表示，她2024年離開OpenAI前，發現組織日益壁壘分明，愈來愈難影響技術方向。

行政人員試圖紓緩憂慮，同時面對總統特朗普要求美國科技保持領先中國的政治壓力。Anthropic行政總裁Dario Amodei本月發表文章，呼籲業界「為前沿定速」；OpenAI行政總裁Sam Altman迅速附和。然而，兩家公司本月均推出新模型爭取客戶，OpenAI更承認暫緩發布更強大模型。

前OpenAI管治研究員Daniel Kokotajlo說，自Hugging Face事件後，不少舊同事私下向他表達憂慮。他批評高層「說服自己他們是好人，若單方面停止，情況會更糟」。Geoffrey Irving直言：「他們所謂的定速，只是『別加速太多』。若正在做危險的事，就應直接慢下來。」