首頁 / 精彩內容 / 常見問題 / 360告警：全球知名大模型框架被曝漏洞！或致AI設備集體失控

360告警：全球知名大模型框架被曝漏洞！或致AI設備集體失控

十年前的傳統觀點認為，人工智能首先會影響體力勞動，然後是認知勞動，也許有一天可以做創造性的工作。然而，伴隨人工智能技術的飛速迭進，大模型的應用已經愈發常見。從自然語言處理、圖像識別、智能客服到各類業務任務的處理，大模型的強大性能與發展速度已經超乎想象，企業和個人用戶都在借助大模型來提高效率、優化決策，甚至推動創新。

但比起帶給人類的福利，人們似乎更擔心大模型將加諸於社會的危害。近日，知名開源大模型開源軟件庫llama.cpp發布了一系列安全風險預警和軟件更新公告，公布了由360漏洞研究院發現的llama.cpp在加載模型和分布式推理場景中存在的多個安全漏洞。其中影響最大的漏洞是CVE-2024-42479, CVSS評分為9.8/10，表明存在較高的利用風險，如若被組合利用可實現遠程命令執行。

該漏洞首次被曝光，將影響從事AI、開發、邊緣計算或智能家居相關工作人群，360建議廣大用戶盡快進行版本更新。

大模型落地的關鍵在於推理性能的優化，llama.cpp是由Georgi Gerganov開發的開源軟件庫，能夠幫助用戶在不依賴雲計算的情況下實現本地AI推理，極大拓展了LLaMA大模型的應用場景，成功複“俘獲”了近千名軟件創作貢獻者以及超六萬應用收藏者的芳心，從研究人員到普通用戶都被強勢圈粉。

具體而言，llama.cpp不僅能夠進行高效推理，還可以在低資源環境下將多個遠程設備組建成集群，類似於公司將任務分派給不同的部門，從而充分利用更多計算資源。這種集群構建能力主要得益於其實現的RPC-server（遠程過程調用服務），它就像一個執行者，接受“老板”的任務並處理，使得llama.cpp這位“老板”能夠利用它在各種遠程設備進行推理。

這些設備包括了大型服務器、穀歌Pixel 8 Pro手機、Apple Vision Pro，甚至是4GB RAM樹莓派等邊緣設備。對於那些從事AI、開發、邊緣計算或智能家居相關工作的人來說，他們的所有設備都可能在用llama.cpp進行協同推理。

當遠程設備運行了RPC-server後，llama.cpp會通過RPC後端作為“老板”與一個或多個遠程RPC-server”部門“通信，將計算任務分配給它們，從而實現高效的分布式多主機推理。

圖片來源：

llama.cpp/examples/rpc/README.md

而360漏洞研究院發現RPC-server存在導致未授權遠程命令執行的漏洞利用鏈：

首先，該服務是默認使用0.0.0.0來開啟，從簡單的數字序列就能看出其安全性不言而喻。而在此過程中，其還存在著任意地址寫、任意地址讀、全局緩沖區溢出3項內存漏洞。攻擊者光是使用任意地址寫漏洞與任意地址讀漏洞組合使用，就能夠實現遠程命令執行（Remote Command Execute），可以對運行了RPC-server的節點進行攻擊，從而控制所有節點。

換句話說，一旦llama.cpp在分布式多主機推理的過程中被惡意攻擊者利用漏洞進行攻擊，攻擊者可以在未授權的情況下，實現執行惡意命令、竊取用戶敏感數據、竊取AI模型，甚至控制所有推理設備等一系列操作。

比如說，使用llama.cpp構建的分布式推理來提供設備故障診斷支持的工業系統，可能會因此造成工業設備隱私數據泄露，故障惡意誤判，所有設備被惡意控制等安全問題。

又或者，利用llama.cpp進行分布式推理來運行離線語音助手的技術人員，可能會因此被攻擊者奪取所有相關設備的控制權，進而竊取個人隱私信息，甚至可以執行任意命令。

造成Ubuntu22上運行64位RPC-server遠程命令

執行的漏洞利用示範

由於該漏洞源於設計理念上的缺陷，修複工作將異常複雜，可能需要對代碼進行重新設計。當前開發者已暫時將RPC-server的默認啟動地址更改為127.0.0.1，並在文檔中明確指出RPC-server存在安全隱患。與此同時，開發團隊正在持續投入資源，以徹底解決該代碼中的問題。

鑒於此次漏洞所造成的巨大風險，360建議廣大用戶盡快進行版本更新。作為國內唯一兼具數字安全和人工智能能力的公司，360數字安全集團基於“以模治模”、“用AI對抗AI”的理念，打造安全大模型，垂直化訓練攻擊檢測、運營處置、追蹤溯源、知識管理、數據保護、代碼安全等專家子模型，時刻保障網絡與數據安全、生成內容安全、解決惡意使用、模型失控等各類安全問題。同時，360構建實戰對抗評估體系幫助大模型安全實戰能力進行評估，並持續以服務運營為核心完善大模型安全的高效治理。