OpenAI安全專家辭職 批評公司文化未夠審慎
OpenAI一名前安全員工辭職後撰文,批評公司追求快速發展的文化增加安全風險。他認為人工智能公司不夠審慎,應更重視安全專業知識和研究。OpenAI發言人回應稱公司會確保模型安全可控。
一名剛辭職的OpenAI安全員工公開批評公司的人工智能安全方針,指其追求快速發展的文化增加系統失效的風險。David Robinson在《大西洋月刊》上發表題為〈我辭職因為OpenAI文化出了問題〉的文章,表示人工智能公司包括OpenAI在內「不夠審慎」,應在開發更強大系統之前更重視安全專業知識和研究。
Robinson在文中寫道:「試錯的時代已經結束」,指先進的人工智能系統需要採用類似核能和航空業的防護措施。他又指出,OpenAI高度依賴所謂的「疊代部署」策略,即先推出系統,待問題出現後才加強防護。
Robinson在OpenAI工作了三年半,曾協助制定公司的準備框架,並監督12次前沿模型發布的安全報告。他寫道:「當公司從一次發布衝刺到下一次發布,它未能達到我認為需要的審慎水平。」
Robinson又警告,人工智能的能力進步速度,已超越研究人員對對齊領域的理解。對齊是一門確保人工智能系統按照人類目標和價值運作的學問。
OpenAI發言人發表聲明回應:「我們確保模型不會變得比我們能安全管理和控制的更強大,當我們需要放慢腳步時,我們會暫停訓練或擱置模型。」
這番言論加劇了人工智能業界內部一場辯論:公司是否在開發越來越強大系統的過程中走得太快。OpenAI及其對手Anthropic在發生安全控制失效或實驗系統出現意外行為的事件後,一直備受關注。
資料來源:The Standard。
閱讀原文報道 →