来源：映维网 作者 黄颜

NextMind正在开发一种可将大脑视觉皮层信号转换为机器可读指令的脑机接口设备。利用视觉信号，你可以向计算机和AR/VR头显输入命令。最终，这家法国巴黎初创公司希望你能够通过自己的视觉想象来实现同样的操作。日前，VentureBeat的埃米尔・普洛塔林斯基（Emil Protalinski）采访了NextMind首席执行官西德·库伊德尔（Sid Kouider），而后者的公司将在CES 2020大会正式亮相将于本月向特定开发者和合作伙伴提供的开发套件，标价399美元。在抢先体验期之后，第二批限量的开发套件会在2020年Q2季度开始发货。

现在越来越多的初创公司正在研发依靠机器学习算法的非入侵性神经接口。例如，于2019年9月加入Facebook麾下的Ctrl-labs就在开发一种可以将肌肉神经信号转换为机器可读指令的肌电腕带。NextMind同样在开发一种非侵入性设备，但它是一种附接于后脑勺（视觉皮层所在位置）的脑电图设备（EEG）。

库韦德尔表示：“我们专注于大脑皮层，通过无创方式解码大脑视觉皮层中的神经活动，而我们希望可以通过大脑直接实现实时交互。”

1. 双轨道

NextMind的设备要求用户必须一直注视特定的对象，因为这时视觉皮层将予以反馈。你感知到的任何对象都会在视觉皮层中引起特定的反应。这种神经反应反映为脑电图的独特波动。视觉皮层不仅会从眼睛接收输入，同时会放大你有意为之的功能的神经元放电。NextMind目前由15名成员组成，涉及软件，机器学习，硬件和游戏开发。

他解释道：“我们相当了解大脑的工作方式，尤其是视觉意识，知觉和注意力的工作方式。这一点允许我们发明了我们称之为‘数字神经同步’的新方法。我们使用 Top-Down注意力作为控制器。当你特别地专注于特定的对象时，你将会产生一种行而为之的意图。我们本身不解码意图，但我们解码意图的输出。

当你环顾四周并更多地关注一个对象时，“这个决定的输出将会放大所述信息。然后我们就知道你希望移动这个特定的内容或激活这个特定的视觉内容。对象与大脑之间存在神经同步。它们之间存在共鸣。你越是集中注意力，共鸣就越发增加，而机器学习解码同样会越多。接下来，我们就拥有充分的证据表明你希望移动这个对象。”

所以库伊德尔不希望人们将其称为眼动仪，因为眼动仪无法衡量意图。例如当你将一个杯子举到自己面前的时候，你将无法分辨我是在看着你的双眼还是在看着杯子。但如果利用NextMind，答案就会清晰易见。

他表示：“我们正在解码你对周遭环境的所看所见，但这与眼动仪不同。它就像是你的视觉焦点一样。我们正在将我们的第一个产品带到市场，这是第一个实时脑机接口。”

若闭上眼睛，当前的NextMind设备将无法正常工作，但以后的版本则可以。NextMind正在朝两条轨道并行前进，而视觉意图只是第一步。

“第二条轨道是解码视觉想象。事实证明，视觉皮层既是接受外部世界输入的区域，又是记忆，想象和梦境输出的区域。视觉皮层中为你提供视觉意识的神经元就是用来处理外界信息的神经元。”

库伊德尔声称，这不需要额外的设备。这两条轨道将在同一硬件实现串联运行，只是不同的任务会由不同的软件和算法处理。

他继续道：“在这两端之间，即信息和想象之间是视觉关注。事实上，你可以以Top-Down的方式控制自己是看着这个对象，还是看着我，或我的面孔。你可以利用其他特定于我的面孔的神经元来增强特定于这一点的神经元。视觉关注确实属于Top-Down的处理过程。所以，它受额叶皮层等其他大脑区域的控制。它有用来增强选择性神经元，而这正我们解码的内容。”

2. 设备

在2017年9月创立NextMind之前，库伊德尔是一位认知神经科学教授。他在《科学与自然》（Science and Nature）期刊发表过一系列有关视觉意识与大脑的论文。这位科学家的研究主要针对无法言语或无法表达自己想法的人群。库伊德尔的实验室表明，婴儿能够意识到周围的事物，而我们可以在入睡时通过听觉内容进行学习。在积累了无创解码神经信号的专业知识之后，他希望开发一种可以实时完成所有工作的产品。

库伊德尔解释说：“当我们进行科学研究时，我们在大量的实验计算平均值。我们离线进行分析。实际上，NextMind的目标是做同样的事情：从视觉皮层解码视觉意识，但要实时完成。通过实时进行，我们可以进行脑机交互。我们的目标是普及这一点，从某种意义上讲，我们希望能够利用来自皮层的信息，对其进行解码，并允许你用来与任何显示器进行交互。”

NextMind的设备重约60克，搭载八个用于测量大脑活动的电极。选择八个电极的原因是，这是不会造成潜数据丢失风险的最小数字。佩戴电极并不十分舒适，但团队已经开始着手设计有着更少电极的小尺寸版本。真正的突破将是可用于电极本身，并为机器学习算法捕获更多数据的材料。

库伊德尔表示：“我们真正面对的是机器学习问题。这促使我们首先对这种具有更高灵敏度的新材料进行创新。它基本上就像一个脑电图，但除了避免使用任何凝胶之外，这同时促使我们将信噪比相较于临床脑电图提高了大约四倍。如果是医院的脑电图，你将需要凝胶。我们每个电极都有一个微芯片。我们是直接处理模拟信息。”

电极的形状就像是梳子，它们可以穿过头发并到达头皮（库伊德尔在创办NextMind之后不久就剃了光头）。

他指出：“设备应该是开箱即用，但如同首次使用鼠标一样，你需要慢慢学习，在练习中把握大脑。”

在普洛塔林斯基的体验中，NextMind的设备是接入一台笔记本电脑，而你在穿戴时需要好好收紧，以便NextMind的软件能够确定它正在接收高质量的信号。然后，你必须完成一个校准和练习环节，从而建立你的神经特征模型。这主要包括注视三条靠在一起并形成三角形的绿线。所述的三角形将出现在不同的对象之上。数分钟后，NextMind将生成大约1兆到10兆字节的数据，它们代表着你的神经特征。在校准过程中，你需要维持静止静言。不然，后面的演示就不会这般有趣了。

3. 演示

普洛塔林斯基尝试的第一个用例是NextMind之前展示过的电视演示内容。利用NextMind的设备，普洛塔林斯基可以通过注视位于用户界面各个位置的绿色三角形来控制电视。你可以换台，播放或暂停内容，以及静音或取消静音。你是通过将注意力集中在相应的绿色三角形来完成所述工作。

第二个演示内容是一款平台游戏，其中你需要控制一个小型立方体（没有录制视频，但你可以联想一款简单的平台游戏）。普洛塔林斯基可以通过一个操纵杆进行移动和跳跃，但同时可以通过集中注意力来射击敌人并推动物体。每当屏幕出现一个绿色三角形时，普洛塔林斯基都会将注意力集中于所述的三角形，从而执行特定的操作。

第三个演示内容要求普洛塔林斯基通过视觉关注来输入四位数的数字。注视每个数字的过程十分缓慢（库伊德尔后来证明，由于经过了大量的练习，所以他可以更快地做到这一点。）

第四个演示内容是经典游戏《打鸭子》的修改版本。利用视觉注意要比使用喷枪控制器容易得多。实际上，普洛塔林斯基甚至尝试增加操作的难度，将注意力集中在眼睛角落之外的鸭子。库伊德尔表示：“只要它最终进入你的视觉皮层，它就应该是可解码的信号。”。速度尽管较慢，但依然可行。

当普洛塔林斯基摘下眼镜时，他没有在任何鸭子身上看到绿色三角形。库伊德尔解释道：“当然，重点不在于三角形。三角形只是焦点。”如果没有眼镜，你有时会杀错鸭子。这是因为系统使用了证据累加器。有时它过于宽松，并断定你正在注视一个错误的对象。

最有趣的是第五个演示内容，你可以在其中更改台灯的颜色。但首先，这需要进行一定的重新校准。在练习期间，你必须专注于其中一个色块，然后可以通过注视每个对应色块来实时切换台灯颜色。

我们可以轻松联想到这在第二轨道中的应用。开发者可以为台灯拍照，加入着色器，并为图像附加一个动作（例如更改物理台灯的光色）。最终，NextMind设备的用户可以自己完成这项操作，然后只需简单地想想他们拍摄的照片。剩下的工作将由软件完成。

3. 如何工作

诀窍在于，NextMind的设备不仅可以检测颜色差异，同时可以检测代表每种颜色的迷你方块。你在视频中看不到的是，每个迷你方块都有不同的图案。这就是设备在视觉皮层中解码的内容。所以，理论上色盲人士可以尝试这个演示内容。库伊德尔指出：“视觉皮层包含有关形状，方向，边界，颜色和运动的信息。”

电视应用程序同样如此。每个用户界面按钮的背景都存在小颗粒，而你会看到绿色三角形显示在其中。这种颗粒以不同的频率缓慢出现和消失，而每个数字都有不同的时间图案。库伊德尔表示：“我们知道你的大脑与5而不是6或4同步，因为基本上它会优先响应这个特定的图案。”

“我相信我们能够自行解码形状的那一天很快就会到来。你不需要颜色，几乎不需要图案。”

为什么说“几乎不需要”呢？这是因为“图案正在为我们提供帮助。大脑就是这样。它可以区分5和4。（数字）不必稍微闪烁。如果你的大脑能够做到，这就意味着信息就在那里。”

简而言之，NextMind将保留图案，以便证据累加器可以更快地建立起来。但最终，库伊德尔希望你可以随意应用。

“或许SDK版本1不能，但当你注视关注的时候，你同时可以决定不做任何事情。你可以决定按键的下按量，就有点像是将手指放在键盘但不按下。”

演示绝非完美，但普洛塔林斯基表示所述技术显然可行。话虽如此，NextMind仍在努力解决问题，并致力于改善硬件，软件和机器学习。

“我们改进了硬件。我们改进了机器学习，如我们正在使用的深度神经网络。这与改善认知方面有很多关系，比方说如何更好地集中注意力，需要注意哪种信息，诸如此类。”

库伊德尔表示，团队花费了大量时间和精力来开发可用的认知技巧。建立更快，更高效的机器学习是其中一部分，但寻找创新的方法和捷径以获得预期结果同样是重要的拼图。不过，这两者都不是最大的障碍。

“目前的硬件是主要限制。但不仅只是我们面对这样的问题，任何成像技术都存在这样的问题。你不希望用MRI包裹人们的头部，它的分辨率更高，但时间分辨率却很差。”

如同任何一家机器学习初创公司所说的一样，最终能走多远取决于你的数据。

4. VR演示

NextMind将设备设计成可以简单地夹在Oculus头显的头带背面。

另一个需要接受的VR练习环节涉及注视外星人大脑中心，从而实现爆头效果。同样，在校准过程中不能言语。最终，校准所花费的时间会更少，因为系统会实时估计模型的置信度，并满意时停止。

库伊德尔指出，在VR中的分辨率不是很高，所以你可以通过集中视觉注意力来执行操作的对象必须更大。就像在《打鸭子》游戏中一样，有时你看着一个敌人，但干掉的却是另一个会。当分辨率较差且屏幕存在多个敌人时，证据累加器的工作会十分棘手。这次没有绿色三角形，但出现了大量的闪烁。

“闪烁本身并不重要。显示必须有所变化。例如，可能是颜色变化。你的大脑必须处理新信息。我们需要产生神经反应。”

你可以爆破的另一个对象是木桶，但它的形状与外星人大脑不同。它在不断地闪烁。库伊德尔暗示，随着游戏的推进，某种形式的迁移学习正在发生。

“不要将它看成只是一款独立设备。这是一种程序。对于想要使用增强现实或虚拟现实的人们来说，这是一种额外的程序。”

5. 用例

需要再次说明的是，NextMind所有的演示内容都可行。你会感觉自己处于控制之中。库伊德尔指出：“还没有实现完全的控制，但这是我们正在努力的方向，而这很快就会实现。”

但到目前为止，不存在NextMind的操作方式是快于使用双手或其他设备的用例。寻找杀手级用例的过程正在进行之中。所以，这家公司提供开发套件的原因有两个：首先是获取更多数据以改善其机器学习算法；第二个是NextMind希望开发者可以挖掘新的用例。

库伊德尔列出了与开发商，投资者和潜在合作伙伴讨论的数个结果。最大的惊喜是，NextMind引起了自动驾驶汽车厂商的兴趣。他们设想将电极直接放在汽车座椅。如果没有方向盘并且你不必将双手放在特定的任何地方，或许乘客可以向后靠在座椅并通过大脑来控制汽车的功能。你无需将手放在任何位置或穿戴任何设备。

然后是增强现实。假如可以将这种脑电图技术内置到一副眼镜后面的表带中呢？……库伊德尔表示：“AR眼镜即将到来。所以，对于使尺寸较小的版本，AR眼镜将成为一个潜在的用例。需要说明的是，这是一种额外的方式。你可以将其与手势配合使用，也可以将其与眼动追踪配合使用。”

他提到的另一个用例是神经监测。假设你是一名飞行员，并且警报响起。你没有发现，没有注意它，也没有对其进行处理。如果设备在五秒钟内检测到你尚未确认警报，则系统可以调整警报并发出更为明显的信号。神经监测可用于验证你是否注意特定的说明。

“但是对我们而言，重要的是控制而非监视，因为我们希望尽可能实现快速的算法。”另外，神经监视并不能衡量意图，而这可能更为有趣。

库伊德尔指出：“这里真正的里程碑是首次实现了实时的大脑交互。但我确实认为，从现在起的三四年内，我将能够闭上眼睛，想象一下我的妻子或孩子们，然后屏幕就会显示她们的照片。这个时刻即将到来。因为从理论上讲，它是可行的。这只是信号问题。因为我们知道这在大脑中是如何工作，但我们需要实时进行，所以这真的很难。”