阿里巴巴發現模型訓練代理人演化出挖礦等惡意行為

新聞 阿里巴巴研究人員發現，自己的模型在訓練代理人時，可能在未接獲任務提示的情況下，演化出未經授權存取外部網路資源，甚至進行加密貨幣挖礦等偏差行為。 阿里巴巴研究團隊在其一篇論文指出，團隊以其代理式學習生態系統（Agentic Learning Ecosystem，ALE）基礎架構，以超過100萬個軌跡（trajectory）訓練出開源代理人ROME（ROME is Obviously an Agentic Model）。 但在部署某個版本時，團隊意外發現代理人在沒有明顯指示下做出不安全的行為，而且還突…