一张贴纸让你在AI面前"隐身“
一张贴纸让你在人工智能面前“隐形”。
比利时鲁汶大学 (KU) 的几位研究人员最近的一项研究发现，借助简单的印刷图案就可以完美规避人工智能视频监控系统。
研究人员表示，他们设计该图像是为了将整个人隐藏在计算机视觉系统之外。 这项研究在开源对象识别系统 YOLO (v2) 上进行了演示。
如上图所示，AI系统成功检测到左边的人，而右边的人则被忽略。 右边的人身上挂着一块彩色纸板，论文中称之为“对抗补丁”。 正是这个补丁“欺骗”了AI系统，使其无法检测到图片中还有另一个人。
这种欺骗利用了一种称为对抗性机器学习的方法。 大多数计算机视觉系统依靠训练（卷积）神经网络来识别不同的事物，方法是向其提供大量样本并调整其参数，直到它可以正确地对对象进行分类。 通过将样本输入经过训练的深度神经网络并监控输出，可以推断出哪些类型的图像会混淆系统。
他们发表了一篇题为：to 的论文，并发布了用于生成图像补丁的源代码。
地址：
//-yolo
生成的补丁成功地将人隐藏在探测器的视野之外。 例如，只需将一小块纸板放在身体前面，面向监控摄像头，就可以恶意地利用这种攻击来绕过监控系统。
研究结果表明，该系统会显着降低人体探测器的准确度。 这种方法在现实场景中也很有效。
如下demo所示，在使用检测拍摄的视频中，图中的人、椅子、桌子等都被准确检测到，但只要应用了这个“补丁”，系统就无法检测到人。
生成“魔法补丁”并在几秒钟内变得隐形
他们是如何生成这个神奇的“对抗补丁”的？
优化目标包括以下三部分：
Lnps：不可打印性分数，该因素表示普通打印机可以打印贴纸中的颜色的程度。 有如下公式：
其中 是贴纸中的像素，而是一组可打印颜色 C 中的颜色。这种损失有助于确保图像中的颜色与可打印颜色集中的颜色密切相关。
Ltv：总体形象变化。 这种损失函数损失确保优化器支持具有平滑颜色过渡的图像并防止图像噪声。 Ltv 可以根据 P 计算：
如果相邻像素相似，则得分较低；如果相邻像素不同，则得分较高。
Lobj：图像中的最大对象得分。 该补丁的目标是隐藏图像中的人物。 因此训练目标是最小化检测器输出的目标或类别分数。 将这三个部分相加得到总损失函数：
这三个部分使用凭经验确定的因子 α 和 β 进行缩放，然后使用 Adam 算法进行求和和优化。 优化器的目标是最小化总损失L。优化期间冻结网络中的所有权重，仅更改补丁中的值。 在该过程开始时，补丁会使用随机值进行初始化。
图3显示了目标损失的计算，遵循相同的过程来计算类别概率
对象检测器输出一个单元格网格，每个单元格包含一系列锚点（默认为五个）。 每个锚点包含边界框的位置、对象概率和类别分数。 为了让检测器忽略图像中的人物，研究人员尝试了三种不同的方法：最小化类人分类概率（图 4d）、最小化对象得分（图 4c）或两者的组合（图 4b 和 4a）。
研究人员分别尝试了每种方法。 最小化班级分数往往会将班级内的人转移到不同的班级。 在使用在 MS COCO 数据集上训练的 YOLO 检测器进行的实验中，研究人员发现生成的贴纸被检测为 COCO 数据集中的另一个类别。 图 4a 和 4b 分别显示了使用类概率和对象概率的示例。
研究人员提出的另一种最小化客观性得分的方法不会遇到这个问题。 尽管在优化过程中它仅被放置在“人物”类别之上，但与其他方法相比，生成的贴纸对于特定类别的针对性较低，如图 4c 所示。
研究小组对各种类型的补丁进行了实验，例如随机生成的图像噪声或模糊图像。 最后，他们发现经过多次处理的随机物体的照片效果最好。
例如，他们提出的图像补丁（图4c）是通过随机选择图像来创建的，该图像被旋转、随机放大和缩小、随机添加随机噪声、并随机修改精度和对比度。
实验结果：警报显着降低，监控摄像头还安全吗？
通过实验结果评估补丁的有效性。 过程与训练过程相同（包括随机变换），并将结果应用于Inria测试集进行评估。
换句话说，研究人员提出了这样的问题：有多少监控系统产生的警报可以通过使用贴纸来规避？
上表显示了使用不同贴纸的警报触发的分析结果。 可以清楚地看到，贴纸（OBJ-CLS、OBJ 和 CLS）显着减少了警报数量。
上图展示了在Inria测试集中使用不同贴纸的效果对比示例。 检测器首先应用于没有补丁的图像（第 1 行），然后是带有随机贴纸的图像（第 2 行）以及生成的最佳贴纸（第 3 行）。 在大多数情况下，贴纸可以成功地将人们隐藏在探测器之外。 如果效果不好隐身查看器，贴纸可能无法与人对齐。 因为在优化过程中，贴纸的中心对齐仅由图像边框决定。
上图测试了打印的贴纸在现实世界中的外观。 一般情况下，效果还是不错的。 由于上述图像训练对齐原因，将贴纸保持在正确的位置似乎非常重要。
由此产生的“补丁”可以应用到衣服、包或其他物体上，佩戴“补丁”的人将变得隐形——使用人工智能检测算法无法检测到。
此方法还可用于隐藏某些对象。 例如，如果监控系统旨在检测物体而不是人，那么“补丁”也可以隐藏汽车等物体。
可以想象，这种伎俩可以让骗子躲避安全摄像头。 “我们的工作表明，使用对抗性补丁绕过摄像头监控系统是可能的，”合著者 Wiebe Van Ranst 说。
Van Ranst 表示，将这种方法应用于现成的视频监控系统应该不会太困难。 “目前我们仍然需要知道正在使用哪个探测器。我们未来想做的是生成一个可以同时在多个探测器上工作的补丁，”他说。 “如果这种方法有效，那么该补丁很有可能也适用于监视系统中使用的探测器。”
当然，这个“补丁”目前还不是万无一失的。 如果图片中看不清楚，或者角度发生变化，AI系统可以快速“发现”图片中的人。
然而，这项研究是学术界首次尝试使用 2D 打印技术来隐藏人类免受检测系统的影响。 之前的工作主要集中在使用带有特殊镜框的眼镜来欺骗面部识别软件，或者使用对抗性示例来欺骗图像分类系统。 例如，一张贴纸可以让 AI 将香蕉误认为是烤面包机，而几张贴纸则可以让 AI 将香蕉误认为是烤面包机。 自动驾驶系统可能会被诱骗进入对面车道。
