Nature重磅：华裔科学家成功解码脑电波，AI直接从大脑中合成语音
这项研究发表在最新一期《自然》杂志上，作者为Anumanchipalli以及华裔科学家Edward Chang等人。
01.每分钟能够生成150单词，接近正常人类水平
加州大学旧金山分校的研究人员与5名志愿者合作，志愿者们接受了一项被称为“颅内监测”的实验，其中电极被用于监测大脑活动，作为癫痫治疗的一部分。
许多癫痫患者的药物治疗效果并不好，他们选择接受脑部手术。在术前，医生必须首先找到病人大脑中癫痫发作的“热点”，这一过程是通过放置在大脑内部或表面的电极来完成的，并监测明显的电信号高峰。
精确定位“热点”的位置可能需要数周时间。在此期间，患者通过植入大脑区域或其附近的电极来度日，这些区域涉及运动和听觉信号。这些患者一般会同意利用这些植入物进行额外的实验。
此次招募的五名志愿者同意测试虚拟语音发生器。每个患者都植入了一两个电极阵列：图章大小的、包含几百个微电极的小垫，放置在大脑表面。
实验要求参与者背诵几百个句子，电极会记录运动皮层中神经元的放电模式。研究人员将这些模式与患者在自然说话时嘴唇，舌头，喉部和下颌的微小运动联系起来。然后将这些动作翻译成口语化的句子。
实验要求母语为英语的人听这些句子，以测试虚拟语音的流畅性。研究发现，大约70％的虚拟系统生成的内容是可理解的。
最终，这套新系统每分钟能够生成150单词，接近自然讲话的语速水平。而以前基于植入物的通信系统每分钟可以生成大约8个单词。
02.技术细节：两阶段解码方法
在这项工作中，研究人员使用了一种叫做高密度皮层脑电图的技术来跟踪志愿者说话时大脑中控制言语和发音器官运动的区域的活动，志愿者们被要求说了几百句话。
在上图A中，以前的语音合成研究采用的方法是使用脑电图（ECoG）设备监测大脑语音相关区域的神经信号，并尝试将这些信号直接解码合成语音，使用一种称为递归神经网络(RNN)的人工神经网络；
因为无法直接测量每个人的声道运动，Anumanchipalli等人构建了一个RNN来预估这些运动，其训练数据是之前收集的大量声道运动数据和语音录音。
与直接解码声学特征相比，作者采用的两阶段解码方法能明显减小声音失真。如果可以获得跨多种语音条件的海量数据集，那么直接合成可能会接近或优于两阶段解码的方法。
03.不能说话的个体也能实现语音合成
与重构错误或以前使用的自动可懂度测量方法不同，这种方法直接测量语音对人类听众的可懂度，而不需要与原始话语进行比较。
Anumanchipalli和他的同事的研究结果为语音合成脑机接口的概念提供了令人信服证据，无论是在音频重建的准确性方面，还是在听者对产生的单词和句子进行分类的能力方面。
目前所有语音解码方法的另一个限制是需要使用语音来训练解码器。因此，基于这些方法的脑机接口不能直接应用于无法说话的人。
最后，这些令人信服的概念验证证明了不能说话的个体也能实现语音合成，结合脑机接口在上肢瘫痪患者中的快速进展，研究人员认为应该大力考虑涉及言语障碍患者的临床研究。
随着持续的进步，希望更多有语言障碍的人能够重新获得自由表达思想的能力，并重新与周围的世界联系起来。
Nature这篇文章的作者之一是加州大学旧金山分校神经外科教授Edward Chang博士。
Edward Chang博士表示，这次在Nature上的研究，“我们通过解码大脑活动提升语音的清晰度，模拟的语音比从大脑中提取声音表示的合成语音更准确、更自然。”
上个月，美国一组科学家在biorxiv.org上发表一篇论文，称找到了快速将电线植入大鼠大脑的方法，论文中描述这个过程是“向人类大脑直接插入计算机潜在系统迈出的重要一步”。
研究人员将他们的系统称为“缝纫机”（sewing machine），科学家在实验室中移除一块老鼠的头骨并插入一根针头，将柔性电极送入老鼠的脑组织。
彭博新闻报道，这组科学家与马斯克的脑机接口公司Neuralink有各种松散关联。
Neuralink于2016年注册为加州的一家医学研究公司，该公司聘请了来自不同大学的几位知名神经科学家，并与加州大学戴维斯分校的实验室签约，对灵长类动物进行研究。
本周三，当Twitter用户询问Neurink的进展时，马斯克说，“可能会在几个月内宣布一些值得注意的事情。”
马斯克认为，脑机接口技术能在2021年之前治疗严重的脑损伤。此外，科学可以通过脑机接口扩大人类的能力。他举了一个例子：人们可以通过心灵感应来传达复杂的概念，“你不需要用语言表达”。
人类是否有一天会与机器合并？马斯克认为，人类已经在某种程度上做到了这一点，因为智能手机等近乎无所不在的技术，因此脑机接口这项工作应该继续下去。
这可能会导致科幻未来，因为人们可以在脑海中下载外语，你觉得呢？
https://www.nature.com/articles/d41586-019-01181-y
