模型扫描 + LLM 运行时防护的 AI/ML 安全平台。少数自己写开源工具的厂商:llm-guard、rebuff 都出自这里。
AI 安全公司16
做 AI 安全产品的商业公司。按防护面看:模型层、推理层、Agent 层,三层各有玩家。
从 Copilot / Power Platform 起家的 Agent 安全,把企业里成百上千个 agent 当成一个新攻击面来管。
清华背景,做对抗攻防与 AI 基础设施安全,国内少数把对抗样本研究真正做成产品的团队。
从提示注入检测起家(Lakera Guard)。Gandalf 那个让上百万人试着越狱的小游戏就是他们做的。
MLDR(机器学习检测与响应)的提出者,主打模型扫描:把恶意模型文件当样本查。
AI Firewall + 算法红队,偏合规与大模型上线前的系统性验证。
推理安全平台,把扫描器、护栏、Agent 管控编排成一整套推理层。
GenAI 安全网关,覆盖面从员工偷偷用 ChatGPT 到企业自研应用,影子 AI 是它的切入点。
AI 与 Agent 的全生命周期安全:数据、模型、应用、agent,SDLC 两端都管。
GenAI 与 MCP 网关,思路是给 agent 的工具调用装一层代理。
Kubernetes 运行时出身,现在做 Agentic AI 与 MCP 流量的在环防护。
ML 可观测与护栏,偏生产环境的模型监控加 LLM 输出拦截。
LLM/ML 可观测与评估平台,强项是把模型表现和安全事件放进同一个看板。
Arthur Shield 做运行时防护,Arthur Bench 做模型对比评估。
RAG 与知识库的最小权限访问控制,解决「检索把不该看的文档喂给了模型」。
GenAI 红队 + 运行时防护一体,从上线前评测到上线后拦截。
开源项目21
能自己跑起来的工具。数据与 Scanners-Box 每日推荐同源,star 数取自 GitHub。
AI 渗透测试 Agent:读源码找攻击面,再真打一遍验证,只有跑通 PoC 的漏洞才进报告
全自主渗透平台:Docker 沙箱里跑 20+ 工具,13 个 agent 角色分工,四道闸门防止跑飞
Cloudflare 官方的 coding-agent skill:6 阶段编排,查 findings 的 agent 永远不是发现它的那个 agent
回答「这个 skill 装了安全吗」:71 个漏洞模式 × 17 类别,静态 + 可选 LLM 语义两阶段,SARIF 直接进 CI
NVIDIA 的 LLM 漏洞扫描器:懂 nmap / Metasploit 的话,garak 对 LLM 干的是差不多的事
面向自主 AI Agent 的安全私有运行时:用声明式 YAML 策略在文件系统、网络、进程、凭证四个维度设界,凭证只在策略放行后注入授权端点
Vercel Labs 的 agent 驱动漏洞扫描器:不扫 diff、不扫增量,对存量大型仓库做一次全量深挖
AI 原生的安全执行中枢:把自然语言意图转成受治理的行动,并把证据沉淀成可复用的运营记忆
腾讯朱雀实验室的全栈 AI 红队平台:五层能力覆盖 AI 基础设施 CVE、Agent 失控、MCP 供应链、Skill 后门与越狱评测
微软开源的 AI Agent 运行时管控套件:把「请 AI 守规矩」换成「让 AI 没法不守规矩」
Kubernetes SIG Apps 官方出品:把「一个长期活着、有稳定名字、带自己磁盘的单容器」补成 Sandbox 这层 API,隔离一行代码都不自己写,全交给 gVisor / Kata
通用状态空间搜索引擎:不定义角色与工作流,给起点和终点,让 Agent 在黑板上自己搜路
Cisco AI Defense 的 skill 扫描器:9 个分析引擎 + cel-go 类型化决策层,敢把 7.75% 召回率原样写进 README
prompt injection 防御史上的绕不开的一章:canary token 检测 + 向量库自我加固的四层防线(仓库已归档,按史料读)
把每条渗透结论钉回证据链:P-E-O 三角色 + 三图分离 + Evidence→Hypothesis→Vulnerability→Exploit 因果链
Claude Code 黑客松作品 / Everything Claude Code 生态:把 AI Agent 配置审计做成 0–100 分、可上 CI 的合规工具
Cisco 开源的 MCP 服务器安检:YARA + LLM + AI Defense 三引擎并联,共 9 个分析器;最值钱的是报告纪律——扫描没跑完 is_safe 返回 None,不许说安全
双引擎漏洞扫描器:208 主动 + 117 被动 Native 模块打底,Go 版 agentic 运行时(Autopilot / Swarm)在上
把真实 IP / 主机 / URL / 凭证在本地换成确定性占位符、只在工具执行那一刻还原:50 个专家 agent + 140+ 真实工具的自主渗透平台
把 Burp 那一层重做成 Agent 原生工作台:浏览器驱动 + 抓包改包重放 + 沙箱 box + Lean 4 形式化验证,纪律条款编译进二进制
自称「首个 LLM 模糊测试框架」的 100 行 PoC:其实不 fuzz、无模型在环,判定靠子串匹配——但那个确定性 oracle 是整类注入检测的地基
文章与专栏8
值得读的深度内容:技术拆解、威胁分析、行业报告。不收新闻稿。
本站的姊妹专栏:每天一个 AI 安全工具,读完源码再写的技术拆解,不是新闻搬运。
LLM 应用十大风险的官方清单,写方案和做检测时的通用词汇表。
把 ATT&CK 的方法论搬到 AI 系统上的攻击知识库,附真实案例。
提示注入领域最持续的独立记录,几乎每个新绕过手法都有他的分析。
Google 的 Securing AI Framework:风险清单加成熟度自评。
美国官方的 AI 风险管理框架,合规语境下绕不开。
全国网安标委发布的国内 AI 安全治理框架,中文合规的基准文本。
按威胁类型组织的 AI 安全威胁矩阵站点。
标准与数据集5
框架、威胁矩阵、评测集 —— 写方案和做检测时绕不开的那几份。
自动化红队的标准评测框架,做越狱与攻防对比时的事实基准。
微软的大模型鲁棒性评测集,覆盖对抗提示与字符级 / 词级 / 句级攻击。
GCG 对抗后缀攻击的原始实现,也是 AdvBench 数据集的出处。
本站作者维护的安全工具集合仓,很多 AI 安全工具的上游索引。
本站的 CVE 案例库,含 AI 相关漏洞的复盘。
没有匹配的条目。