影子出卖你了MIT新技术可根据影子复原电视画面

近来，MIT 的研讨人员凭借一台摄像机，录下视频或人的动作在墙角杂物堆里投下的影子，就能大致复原出原始画面。

如下图所示，屏幕上正在播映一个人操作积木的视频，对面是一个杂物堆，屏幕宣布的光投射在杂物堆里。研讨人员就对着这个杂物堆进行拍照，记载下视频的影子。

记载下来的画面如下所示（左1）。假如仅凭肉眼调查，这些影子十分凌乱，对咱们简直毫无意义。但研讨人员可经过神经网络对其进行复原。复原效果如下图（右1）所示。乃至色彩都能捕捉到。

具体来说，MIT 的一个研讨团队七年前发明了一种新的成像体系，可运用地板、门和墙作为「镜子」来了解不在视界规模内的场景。运用特别的激光来生成可辨认的3D 图画，该研讨敞开了新的可能性，让咱们咱们可以更好地了解视界规模之外的东西。

最近，MIT 计算机科学与人工智能实验室（CSAIL）的一组科学家团队在这项研讨上更进了一步，不过这一次他们没有运用任何特别配备。

他们开发了一种可经过调查乱物堆上的奇妙影子和反射印象重建视频的办法。这在某种程度上预示着，只需房间中有一个开着的摄像机，就可以重建出房间中看不见的旮旯的视频，即便这个区域在相机视界之外也不妨。

经过调查视频中影子和几许结构的交错状况，该团队的算法可以猜测光线在场景中移动的办法，他们将此称为「光传输（light transport）」。然后，该体系可根据调查到的影子来估量躲藏的视频——它还可以重建实景运动的概括。

可用于无人驾驶等场景

这种类型的图画重建可以有利于社会的许多方面：无人驾驶轿车可以更好地了解转角处会呈现什么、老年人护理中心可以提高居民的安全性、搜救团队也能提高自己在风险和有妨碍区域中的才能。

这项技能是「被动式的」，也便是说，场景中没有激光和其它搅扰。不过，现在的处理时刻还仍然长达大约两个小时，但研讨者表明这项技能终究可以用于上述运用，为它们重建不在典型视界内的场景。

杂物堆≈针孔开麦拉

「你可以正常的运用激光等非视界成像设备完成一些东西，但在咱们的办法中，你只需求有天然抵达相机的光线，然后尽可能地提取出其间的稀有信息即可。」前 CSAIL 博士后及英伟达现任研讨科学家 Miika Aittala 说，他现在主导着这项新技能的研讨。「考虑到近段时刻神经网络范畴发展颇丰，现在看起来像是个处理这一范畴之前被以为不行处理的难题的好时分。」

为了获取这种不行见的信息，该团队运用了奇妙的、简练的光线头绪，比如被调查区域中杂物的影子和高光部分。

从某种程度上讲，一堆杂物的效果就像是一个针孔相机，这相似于你可能在小学科学课上造过的东西：它会遮盖一些光线，但也会答应其它一些光线经过，这些可以描绘出它们所触及的周遭环境的图画。可是，这儿不是凭借让部分光线经过来构成一个可读图画的针孔相机，而是运用了一堆一般的杂物，它们会发作一副被打乱（因为光传输）得无法辨认的图画，这幅图画是影子和暗影的杂乱交互。

你可以将这堆杂物视为一面镜子，为你供给周遭环境的经过打乱的视图——举个比如，这能让你看见你无法直接看见的旮旯。

用到的算法

该团队的算法处理的难题是解析这些打乱的成果，然后了解这些光线头绪。具体来说，该算法的方针将躲藏场景中的活动康复成人类可读的视频，这是光传输与躲藏视频的乘积。

可是，解析这些打乱的头绪其实便是一个经典的「先有鸡仍是先有蛋」的问题。为了剖析清楚打乱的形式，用户需求已知躲藏视频；或许反过来，为了知道躲藏视频，用户需求已知打乱的形式。

「从数学上看，这就像是假如我告知你我脑子里悄然想着两个数，并且它们的积是80。你能猜出它们是什么数吗？也许是40和2？或许是371.8和0.2152？在咱们的问题中，每个像素都面临着相似的状况。」Aittala 说，「简直恣意躲藏视频都可用对应的扰动头绪来解说，反过来也相同建立。假如咱们让计算机挑选，它只会做简略的作业，为咱们供给一大堆看起来什么也不像的本质上是随机的图画。」

知道了这一点，该团队将研讨重心放在了防止歧义性上，他们的做法是经过算法指定他们想要的一种对应于合理的实在国际影子和暗影的「打乱」形式，然后康复看起来有能共同运动的边际和物体的躲藏视频。

该团队也利用了一个让人惊奇的现实，即神经网络天然地偏好表达「类图画」的内容，即便它们从未为此练习过也是如此，这有助于消除歧义。该算法会一起练习两个神经网络，它们都运用了一个名为深度图画先验（Deep Image Prior）的机器学习概念，仅为一个方针视频进行了特别化处理。其间一个网络用于发作打乱形式，另一个则用于估量躲藏视频。当这两个因子组合重现了杂物记载的视频时，这两个网络会取得奖赏，然后唆使它们运用合理的躲藏数据来对调查进行解说。

为了测验该体系，该团队首先在一面墙前堆了一堆东西，然后在对面的墙上投射视频以及亲安闲墙前面移动。基于此，他们可以重建出能让你对房间中躲藏区域所发作的运动有大约了解的视频。

该团队期望未来能提高该体系的全体分辨率，并终究在非受控环境中测验查验这项技能。

原文链接：https://news.mit.edu/2019/using-computers-view-unseen-computational-mirrors-mit-csail-1206