科技生活
2023-05-02 21:12:20

科技生活| 突破性AI系统「读心术」 大脑活动图像转化文字

来自德克萨斯大学奥斯汀分校的研究人员创造了一个「读心术」人工智能系统,该系统可以获取一个人的大脑活动图像并将其翻译成连续的文本。该系统被称为「语义解码器」(semantic decoder),可以帮助那些有意识但无法说话的人,比如那些中风的人。

这种新的脑机接口与其他「读心」技术不同,因为它不需要被植入大脑。德克萨斯大学奥斯汀分校的研究人员使用功能磁共振成像(fMRI)对大脑进行非侵入性的记录,用连续的自然语言重建感知或想像中的刺激。

虽然fMRI能产生质量很好的图像,但它测量的信号是非常缓慢的(取决于血氧水平),因为神经活动的冲动会导致血氧在大约10秒内上升和下降。因为自然的英语口语每秒钟使用两个以上的单词,因此每个大脑图像可以受到20多个单词的影响。

这就是语义解码器的作用。它使用一种类似于开放人工智能的ChatGPT和谷歌的Bard所使用的编码模型,可以预测一个人的大脑将如何对自然语言做出反应。为了「训练」解码器,研究人员记录了三个人的大脑反应,同时他们听了16小时的口语故事。解码器可以相当准确地预测一个人的大脑在听到一连串的词语时将如何反应。

该研究的通讯作者Alexander Huth说:「对于一个非侵入性的方法来说,跟以前所做的工作相比,这是一个真正的飞跃,以前所做的工作通常是单个单词或短句子。」

研究结果并没有逐字逐句地重现刺激物。相反,解码器会捕捉到所说内容的要点。它并不完美,但大约有一半的时间,它产生的文本与原始文本密切相关,有时甚至精确匹配。

图片:University of Texas at Austin

T09