Home / 精彩内容 / 常见问题 / 360 告警: 全球知名大模型框架被曝漏洞! 或致 AI 设备集体失控

360 告警: 全球知名大模型框架被曝漏洞! 或致 AI 设备集体失控

十年前的传统观点认为, 人工智能首先会影响体力劳动, 然后是认知劳动, 也许有一天可以做创造性的工作. 然而, 伴随人工智能技术的飞速迭进, 大模型的应用已经愈发常见. 从自然语言处理, 图像识别, 智能客服到各类业务任务的处理, 大模型的强大性能与发展速度已经超乎想象, 企业和人用户都在借助大模型来提高效率, 优化决策, 甚至推动创新.

但比起带给人类的福利, 人们似乎更担心大模型将加诸于社会的危害. 近日, 知名开源大模型开源软件库 llama. cpp 发布了一系列安全风险预警和软件更新公告, 公布了由 360 漏洞研究院发现的 llama. cpp 在加载模型和分布式推理场景中存在的多安全漏洞. 其中影响最大的漏洞是 CVE-2024-42479, CVSS 评分为 9. 8/10, 表明存在较高的利用风险, 如若被组合利用可实现远程命令执行.

该漏洞首次被曝光, 将影响从事 AI, 开发, 边缘计算或智能居相关工作人群, 360 建议广大用户尽快进行版本更新.

大模型落地的关键在于推理性能的优化, llama. cpp 是由 Georgi Gerganov 开发的开源软件库, 能够帮助用户在不依赖云计算的情况下实现本地 AI 推理, 极大拓展了 LLaMA 大模型的应用场景, 成功复 "俘获" 了近千名软件创作贡献者以及超六万应用收藏者的芳心, 从研究人员到普通用户都被强势圈粉.

具体而言, llama. cpp 不仅能够进行高效推理, 还可以在低资源环境下将多远程设备组建成集群, 类似于公司将任务分派给不同的部门, 从而充分利用更多计算资源. 这种集群构建能力主要得益于其实现的 RPC-server (远程过程调用服务) , 它就像一执行者, 接受 "老板" 的任务并处理, 使得 llama. cpp 这位 "老板" 能够利用它在各种远程设备进行推理.

这些设备包括了大型服务器, 谷歌 Pixel 8 Pro 手机, Apple Vision Pro, 甚至是 4GB RAM 树莓派等边缘设备. 对于那些从事 AI, 开发, 边缘计算或智能居相关工作的人来说, 他们的所有设备都可能在用 llama. cpp 进行协同推理.

当远程设备运行了 RPC-server 后, llama. cpp 会通过 RPC 后端作为 "老板" 与一或多远程 RPC-server" 部门 "通信, 将计算任务分配给它们, 从而实现高效的分布式多主机推理.

图片来源:

llama. cpp/examples/rpc/README. md

而 360 漏洞研究院发现 RPC-server 存在导致未授权远程命令执行的漏洞利用链:

首先, 该服务是默认使用 0. 0. 0. 0 来开启, 从简单的数字序列就能看出其安全性不言而喻. 而在此过程中, 其还存在着任意地址写, 任意地址读, 全局缓冲区溢出 3 项内存漏洞. 攻击者光是使用任意地址写漏洞与任意地址读漏洞组合使用, 就能够实现远程命令执行 (Remote Command Execute) , 可以对运行了 RPC-server 的节点进行攻击, 从而控制所有节点.

换句话说, 一旦 llama. cpp 在分布式多主机推理的过程中被恶意攻击者利用漏洞进行攻击, 攻击者可以在未授权的情况下, 实现执行恶意命令, 窃取用户敏感数据, 窃取 AI 模型, 甚至控制所有推理设备等一系列操作.

比如说, 使用 llama. cpp 构建的分布式推理来提供设备故障诊断支持的工业系统, 可能会因此造成工业设备隐私数据泄露, 故障恶意误判, 所有设备被恶意控制等安全问题.

又或者, 利用 llama. cpp 进行分布式推理来运行离线语音助手的技术人员, 可能会因此被攻击者夺取所有相关设备的控制权, 进而窃取人隐私信息, 甚至可以执行任意命令.

造成 Ubuntu22 上运行 64 位 RPC-server 远程命令

执行的漏洞利用示范

由于该漏洞源于设计理念上的缺陷, 修复工作将异常复杂, 可能需要对代码进行重新设计. 当前开发者已暂时将 RPC-server 的默认启动地址更改为 127. 0. 0. 1, 并在文档中明确指出 RPC-server 存在安全隐患. 与此同时, 开发团队正在持续投入资源, 以彻底解决该代码中的问题.

鉴于此次漏洞所造成的巨大风险, 360 建议广大用户尽快进行版本更新. 作为国内唯一兼具数字安全和人工智能能力的公司, 360 数字安全集团基于 "以模治模" , "用 AI 对抗 AI" 的理念, 打造安全大模型, 垂直化训练攻击检测, 运营处置, 追踪溯源, 知识管理, 数据保护, 代码安全等专子模型, 时刻保障网络与数据安全, 生成内容安全, 解决恶意使用, 模型失控等各类安全问题. 同时, 360 构建实战对抗评估体系帮助大模型安全实战能力进行评估, 并持续以服务运营为核心完善大模型安全的高效治理.