皮皮虾科普网

皮皮虾科普网
分享国内外科学知识
皮皮虾科普网-国内外科学-科技-科普

人工智能如何透过镜子看问题-镜子的另一面是不

更新时间:2020-07-15 22:39点击:

在镜子的另一边,事情是不同的。

文本是落后。时钟运行逆时针。汽车在道路的反侧行驶。右手变成了左手。

对于反射如何以微妙和不那么微妙的方式改变图像,康奈尔大学的一个研究小组很感兴趣,他们使用人工智能来研究是什么将原始图像和反射图像区分开来。他们的算法学会了捕捉意料之外的线索,比如头发部位、视线方向,还有令人惊讶的胡子。这些发现对训练机器学习模型和检测伪造图像有意义。

林志魁20是该论文的第一作者;合著者是计算机科学助理教授Abe Davis和康奈尔大学理工学院博士后研究员Jin Sun。

对人工智能来说,区分原始图像和反射图像是一件非常简单的事情,Snavely说。一个基本的深度学习算法可以快速学习如何分类,如果一幅图像已经翻转60%到90%的准确率,取决于用于训练算法的图像类型。它捕捉到的许多线索对人类来说是很难注意到的。

在这项研究中,该团队开发了一种技术来创建一个热图,指出图像中对算法感兴趣的部分,以了解算法是如何做出这些决定的。

不出所料,他们发现,最常用的线索是文本,在每一种书面语言中,文本向后看都是不同的。为了了解更多信息,他们从数据集中移除带有文字的图像,发现下一组特征模型集中在手表、衬衫领子(扣子往往在左边)、脸和手机上。大多数人都倾向于用右手拿着它。以及其他显示右利手的因素。

算法关注脸部的倾向引起了研究人员的兴趣,因为脸部看起来并不是明显不对称的。在某些方面,它留下的问题多于答案。Snavely说。

然后,他们进行了另一项研究,重点关注面部,发现头发部位、眼睛注视等部位的热图会变亮。由于研究人员不知道的原因,在肖像照片中,大多数人的眼睛会盯着左边。和胡子。

Snavely说,他和他的团队成员不知道算法在胡子中发现了什么信息,但他们假设人们梳头或刮脸的方式可以揭示用手习惯。

它是一种视觉发现的形式,Snavely说。如果你能在数以百万计的图像上大规模运行机器学习,也许你就能开始发现关于世界的新事实。

研究结果显示,这些线索中的每一条单独可能都不可靠,但算法可以通过结合多条线索来建立更大的可信度。研究人员还发现,该算法使用来自相机处理图像方式的低电平信号来做决定。

尽管还需要更多的研究,但这些发现可能会影响机器学习模型的训练方式。这些模型需要大量的图像来学习如何对图像进行分类和识别,因此计算机科学家经常利用现有图像的反射来有效地使数据集翻倍。

Snavely说,检查这些反射图像与原始图像的区别可以揭示机器学习中可能存在的偏差,这些偏差可能导致不准确的结果。

这就给计算机视觉界带来了一个开放的问题,那就是,什么时候翻转来增加你的数据集合适,什么时候不合适?他说。我希望这能让人们更多地思考这些问题,并开始开发工具来理解它是如何对算法产生偏见的。

了解反射如何改变图像也可以帮助使用AI识别伪造或篡改的图像。这是一个在互联网上日益受到关注的问题。

这可能是一个新的工具或见解,可以用于图像取证领域,如果你想知道某件事是真的还是假的,Snavely说。

###

参考:“;视觉Chirality”作者林志秋、孙劲、Abe Davis和Noah Snavely,计算机视觉和模式识别2020会议。

pdf

这项研究得到了慈善家、谷歌前首席执行官埃里克·施密特和温迪·施密特的部分支持。