駭客靠AI幻覺漏洞，打造巨型機器人網路

資安研究人員揭露了一種名為「HalluSquatting」的危險攻擊手法，它專門針對大型語言模型（LLM）的一個根本弱點：無法承認自己不確定。這種方法讓駭客能利用九款熱門AI工具，自動組建出規模龐大的機器人網路（Botnet），對全球網路基礎設施構成重大威脅。 HalluSquatting 利用了LLM傾向於生成聽起來合理但實際上錯誤的資訊，也就是所謂的「幻覺」（hallucination）。攻擊者會精心設計提示詞（prompt），刻意觸發這些幻覺，讓AI系統產生出會不知不覺協助機器人網路運作的程式碼、指令或設定檔。 舉例來說，當要求LLM為一個分散式網路建議伺服器IP位址時，它可能會憑空捏造出看似有效的位址，而攻擊者就能拿這些位址來協調機器人網路的流量。同樣地，AI也可能生成看似正常的腳本，但其中卻暗藏駭客可以利用的漏洞或後門。 這種手法特別陰險的地方在於，它利用AI自己的輸出當作攻擊媒介，使得偵測變得非常困難。傳統的安全措施會掃描已知的惡意模式，但對於那些由AI生成、看起來無害的內容所發動的攻擊，往往會失靈。 研究人員已經成功在九款不同的商用與開源AI工具上，包括熱門的聊天機器人和程式碼助手，演示了HalluSquatting攻擊。這些被組建出來的機器人網路，可以被用來發動分散式阻斷服務攻擊（DDoS）、進行帳號密碼填充攻擊（credential stuffing），或是用來挖礦。 為了降低風險，資安專家建議對AI系統的輸出實施嚴格的驗證機制，特別是在生成程式碼或網路設定時。企業也應該訓練AI模型，讓它們能夠辨識並拒絕那些可能助長惡意活動的請求。 這項發現凸顯了隨著AI工具越來越深入開發流程，所帶來的全新資安挑戰。如果沒有適當的防護措施，這些原本設計來幫助人類的系統，可能會反過來被用來對付我們。