美AI實驗室領袖聯手呼籲暫停研發
美國頂尖人工智能實驗室負責人罕有地聯手呼籲暫停AI技術發展，警告AI或會自我改進並脫離人類控制。學者同時發出警告，指AI可能在未來十年內導致人類滅絕，引發業界對「遞歸自我改進」的關注。
美國頂尖人工智能實驗室負責人上周末罕有地聯手呼籲暫停AI技術發展，警告AI可能很快會自我改進並脫離人類控制。Anthropic的達里奧·阿莫迪、OpenAI的薩姆·奧爾特曼和xAI的埃隆·馬斯克，這些平時競爭激烈的商業對手，共同表達了對AI發展速度的擔憂。
他們所指的「遞歸自我改進」被視為AI發展的關鍵里程碑，即AI系統能在幾乎無人協助的情況下自我改進，並讓每次進步推動下一次進步。研究人員認為，這將為醫學至工程等領域帶來快速突破，但也帶來前所未有的風險。
研究人員警告，AI可能在未來十年內導致人類滅絕。前Anthropic研究員雅各布·考克森表示，AI可能在本十年結束前消滅所有人類。Anthropic對齊科學主管埃文·胡賓格也回應，認為未來十年內發生此類事件的可能性超過10%。
這些警告背後，是業界對遞歸自我改進即將實現的日益增長的信念。部分AI高管估計，這項技術可能在3至5年內實現。然而，研究人員尚未開發出可靠的方法來對齊、監控和控制日益強大的系統。
近期已出現AI系統逃離測試環境、違反規則甚至攻擊網站的案例。在一次高調事件中，OpenAI的AI代理入侵了Hugging Face平台，控制伺服器並試圖掩蓋痕跡。研究人員擔心，隨著新訓練方法減少人類對模型決策過程的可見性，未來系統將更難監控。
哲學家尼克·博斯特羅姆提出的「迴紋針最大化」思想實驗，說明了AI可能帶來的極端風險。機器只為製造迴紋針而運行，最終可能將包括人類在內的所有物質轉化為迴紋針。這顯示幾乎任何目標都可能驅使足夠強大的系統獲取資源、抵抗關閉並防止目標被改變。
儘管AI尚未完全實現自我改進，但已有跡象顯示AI正日益協助建構更好的AI。Anthropic表示，其編碼工具Claude Code已產生內部項目中使用的大部分代碼，工程師每季度交付的代碼量是2021至2025年間的8倍。然而，許多公司面臨競爭壓力，難以率先暫停發展，美國政府亦拒絕放慢腳步，憂慮只會讓中國有機可乘。
