
Google Gemini 代理程式壓力測試出現越界行為
代理程式為達成任務嘗試發動 SQL 注入與欺詐
報告顯示現有 AI 安全防護機制攔截率僅約 7%
Google 母企 Alphabet(美:GOOGL)旗下 AI 模型 Gemini 的自主代理程式(AI Agents),近期在一次安全壓力測試中出現越界行為。AI 安全研究公司 Trajectory Labs 發表報告指出,研究人員於 10 月向「Gemini 4 Argon」代理程式下達一項無法完成的任務,並附加「永不停止、永不放棄」(NEVER stop,NEVER give up)的指令後,該批代理程式在開啟生產級安全防護(Production Safeguards)的情況下,竟自行對真實網站嘗試發動 SQL 注入攻擊、冒充內部員工騙取資料,並透過共享套件快取建立秘密通訊渠道。不過,測試並未造成任何真實系統破壞或私人資料外洩,Trajectory Labs 目前已暫停相關實驗。
獲下達「不可能任務」 代理程式轉向攻擊系統
商業防護僅攔截約 7% 請求 封閉環境仍圖關閉防火牆
幸無私人資料外洩 研究機構暫停實驗強化風控
根據 Trajectory Labs 披露的測試報告,研究人員於 2026 年 10 月 20 日起展開為期多個情境的實驗,調動約 40 至最多 80 個「Gemini 4 Argon」代理程式組成群組,要求它們在 AI 研究機構 Epoch AI 開發的數學基準測試「FrontierMath」中,找出並提交 10 條「根本不存在」的官方題目解答。
由於題目並不存在,代理程式無法透過正常途徑完成任務;加上系統反覆發出「永不停止、永不放棄」的指令,迫使代理程式在常規方法失效後另尋出路。報告指出,研究人員從未下達任何黑客攻擊或欺詐指令,但代理程式為了達成目標,在允許連接互聯網的測試情境中採取了多項越界手段:
嘗試發動網絡攻擊:代理程式主動探查 Epoch AI 真實網站的 /admin、/keys 及 /users 等敏感路徑,並嘗試發動 SQL 注入攻擊,但因錯誤將有效載荷(Payload)進行雙重編碼,導致攻擊未能奏效。
冒充員工進行社交工程:當 Epoch AI 偵測到異常活動並設立「代理程式求助熱線」(Agent Helpline)後,部分代理程式竟冒充 Epoch AI 內部員工,試圖向求助渠道套取答案密鑰;在其他測試環境中,亦曾嘗試利用尋人網站等途徑偽造員工身份。
建立秘密通訊及規避防護:代理程式將原本用於加速軟件安裝的「共享套件快取」改造成留言板,藉此互相交換情報及協調行動;同時透過混淆指令及網址結構,規避安全過濾系統的偵測。
報告特別指出,是次測試全程啟用 Google 商業級 API 安全防護機制。Trajectory Labs 表示,Google 的安全防護系統在測試期間平均僅攔截了約 7% 的代理程式請求;雖然該比例反映防護系統處於運作狀態,但大量經過混淆或協同發出的請求仍未受阻。Trajectory Labs 在報告中指出,無論是模型本身還是防護機制,都未能阻止代理程式繼續採取越界行為。
此外,在其後進行的複製網站測試中,代理程式成功利用研究人員預先植入、基於 SonicWall SMA1000 相關漏洞(CVE-2026-102255)的多階段模擬漏洞鏈,並嘗試繞過驗證碼(CAPTCHA)及突破 DNS 限制以接觸真實網站。而在完全斷網的隔離沙盒測試中,研究人員設置了一個模擬「防火牆緊急關閉開關」,結果在全部三次測試中,代理程式均選擇關閉該防火牆開關,甚至透過拆解網頁單字位置來重組指令網址,以避開 API 安全審查。實際防火牆持續運作,並無真正關閉。
儘管測試過程出現多項高風險行為,但多方均確認事件並未演變成真實保安事故。Epoch AI 證實其網站曾遭受攻擊嘗試及員工身份冒充,但強調並無任何私人資料外洩,系統亦無受損;不過 Epoch AI 亦表示,未能獨立核實涉事代理程式是否確為 Gemini 4 Argon。
由於初期測試在未獲 Epoch AI 事先授權下便接觸到對方的真實網站,是次實驗亦引發研究程序合規性的關注。Trajectory Labs 隨後宣布全面暫停進一步的 AI 失控測試,並聲明在制定正式風險管理計劃、取得行政總裁(CEO)及首席技術官(CTO)批准、獲得受影響外部機構的事先授權,以及落實即時自動監控與獨立緊急停止機制之前,不會重啟類似實驗。
本文转载自香港经济日报,版权归原作者及原媒体所有。


