语义解码器训练示意图。
2023年5月1日，美国得克萨斯大学奥斯汀分校的研究人员在《自然神经科学》（Nature Neuroscience）上报告，通过磁共振成像（fMRI）结合人工智能算法（大型语言模型，LLM），可以读懂一个人可能想说的短语或句子，由此可能读懂一个人的想法。因为人的想法要说出来是靠语言（无论是哪一种语言），不说出来在大脑中也是靠语言来表达，如“我渴了，想喝水”，即便不告诉他人，有了这个念头，就会出现在言语和发音中（人有时候的自言自语就是情不自禁的说话），然后指挥行动，拿水杯喝水。磁共振成像是一种检测大脑各部分区域血流量的仪器，血流供应充分的地方氧气供应就充分，反之则匮乏。这其中的基本原理在于，氧合血红蛋白和去氧血红蛋白的磁信号不同，磁共振成像能识别局部脑血流。而且，这种仪器也可以直接监测大脑的语言功能区域，解读人们想要说出的话（语音），因为声音是意义的载体。但是，仅仅让磁共振成像监测大脑语言区的血流是不够的，还需要将人（想要）说什么单词、句子，或听到什么单词或句子时的大脑语言中枢的血流模式结合起来，才有可能读懂人的内心想法。为此，研究人员对3名志愿者在听故事时用磁共振成像技术扫描他们的大脑。他们每人收听大约16个小时的故事，这些故事包括《纽约时报》的现代爱情故事（Modern Love Podcast - The New York Times）和飞蛾电台（The Moth Radio Hour）播放的故事。通过听故事时监测的大脑语言区的血流，研究人员为每位志愿者制作了一个语言-血流图谱，即表明大脑在听到某个单词、短语和句子时的血流反应情况，也即大脑的活动情况。这个原理反推过来是，人听到的话和想要说出的话是同样的发音，如“喝水”，听到的和发出的声音是一致的。由于磁共振成像至少需要几秒时间才能记录大脑活动，因此，这个模式并非记录大脑在听到某个特定单词时的反应，而是听到短语和句子时的大脑反应。对此，人们还是不能直接弄懂大脑血流反应与短语、句子的关系。接下来，研究人员依靠磁共振成像的数据来训练人工智能，以预测和读懂大脑对语言的反应。这就是利用生成型预训练转换模型（GPT）来预测大脑对语言的反应，如在说一个单词时，根据语法和环境推测下一个单词可能组成的短语或句子，如“打篮球”或“打羽毛球”。利用磁共振成像扫描和语言模型生成的图谱，研究人员以不同的可能短语和句子来检测设想的大脑活动是否与实际的大脑活动相匹配。如果两者相配，就保留这个短语或句子，然后继续检测其他短语和句子。经过一定的数据积累，就形成了一个语义解码器系统。在经过训练之后，再让志愿者收听他们以前没有听过的新故事，语义解码器可以根据志愿者的大脑活动生成词汇序列，能读出一些精确的故事词汇和短语，并捕捉到新故事的意思。研究人员发现，语义解码器可以解读大脑语言中枢的一些短语、句子，并能推断大脑想要说出的连续语句。但是，通过磁共振成像扫描和GPT训练共同建立的语义解码器并不能一字不差地记录大脑的语言，大约有一半的时候语义解码器产生的文本与原始短语或句子的意思非常接近，有时则相当准确。例如，在试验中，一位志愿者听到说话者说“我还没有驾照”，但他大脑中的想法被翻译成“她甚至还没有开始学开车”。另外，在志愿者讲故事或看视频时，语义解码器也能读懂他们的一些想法。在一项试验中，志愿者在没有任何声音的情况下观看电影，当一个人观看一部动画片中某人被踢倒时，语义解码器会读出“他把我打倒在地”。所有这一切都是在没有要求志愿者发言的情况下发生的。这项新研究表明，科学的读心术还处于萌芽阶段，并不能完全读懂人的想法（言语），但是提供了一种可靠的研究方向，且有一定的应用价值。例如，可以帮助卒中患者、渐冻症患者、聋哑人等，通过解读他们内心的想法来与人进行交流。这样的读心术需要复杂的设备，如功能磁共振成像扫描仪，这种仪器并非便携式的，因此很难随时随地扫描人的大脑。更为重要的是，读心术需要符合必要的伦理准则，需要确定在什么规则和情况之下才能实施。其他人都在看：
发表于 2023-11-23 03:53
