学术动态

动态发布,集中呈现学校学术活动预告、专家学者观点、学术成果荣誉等。

[成果]卢春明课题组在Nature Communications发表研究论文揭示“鸡尾酒会效应”的神经机制

  日常生活中的人际交流经常发生在嘈杂的多人环境中。当你进入这样的场景时,耳中会迅速的灌入各种交谈声。但是,这些噪声似乎并不会显著的影响你跟朋友间一对一的言语交流。这种现象——选择性的加工目标对象的言语,同时忽略掉其他背景噪声——被称为“鸡尾酒会效应”。我们都知道,作为物理的波动,各种声音信号是重叠在一起的。将重叠在一起的声音信号分离开来并不像表面看起来那样容易。虽然近年来人工智能(AI)技术迅速发展,但是目前尚无法实现语音的有效分离。令人惊奇的是,人脑似乎可以较为有效的解决“鸡尾酒会问题”。那么,人脑是如何做到的呢?

  

  

图1 聚会场景通常充斥着各种噪声

  

  在长达半个多世纪的时间里,来自各个领域的研究者对“鸡尾酒会问题”进行了大量的研究。但是迄今为止,人们仍然无法解释“鸡尾酒会效应”的神经机制。这一问题的关键是人脑如何对混叠在一起的、来源不同的信息进行选择性加工。6月19日, Nature Communications 杂志(影响因子:13.092)在线发表了北京师范大学认知神经科学与学习国家重点实验室卢春明课题组的研究论文 Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation 。该研究利用基于功能性近红外光谱成像(fNIRS)的多人同时脑成像技术(hyperscannig),在相对自然的人际交流清境下对这一问题进行了回答。

  

  

图2 倾听者与说话者间的脑活动同步  a 脑间同步在选择对象和非选择对象间进行比较的矩阵,b FDR矫正后在选择对象和非选择对象间出现显著差异的脑间同步

  

  与以往研究不同,该研究充分发挥了fNIRS技术灵活、便携等特点,并利用了多人同时脑成像技术在研究自然情境下人际互动问题时的独特优势,创设了较为自然的多人对话情境。在实验过程中,两个说话者同时对着倾听者讲话,但是倾听者只选择其中一人作为注意对象,同时忽略另一个人。研究实时记录了三人的脑活动,并计算了倾听者与说话者的脑活动信号随着时间发生共同变化的趋势,即脑活动同步。结果发现,倾听者与其所选择的注意对象之间出现显著的脑间同步(brain-to-brain synchronization),其同步强度显著高于倾听者与非注意对象间的脑活动同步强度。并且,该结果只出现在噪声情境中,在没有噪声的双人交流情境中却没有出现。虽然以往研究发现人脑的神经振荡与言语信号在时间维度上出现选择性耦合,但是由于言语信号与说话者自身的神经振荡也存在密切关系,因此,人际间的脑活动同步可能是解决“鸡尾酒会问题”的重要机制。本研究的发现为这一假设提供了关键的支持性证据。

  

  该同步出现在倾听者和说话者左脑的颞顶联合区(temporal–parietal junction, TPJ)。为了检验该脑区的脑活动同步是与交流内容有关,还是与声音的物理特征或发音动作有关,该研究进行了一系列的深入分析。结果发现,倾听者与选择对象间的脑活动同步在双方出现话轮转换前大约4-5秒左右达到峰值,并与交流质量有显著相关。特别是,当倾听者的脑活动领先于说话者的脑活动1-3秒时,脑间同步达到最强。这些结果表明,倾听者可能通过提前预测说话者的言语内容来调节互动的节律,从而实现对言语的选择性加工。因此,交流内容,而不仅仅是感觉运动信息,在“鸡尾酒会效应”中可能发挥着重要的作用。

  

  该项研究与卢春明课题组的其他工作一脉相承。近年来,课题组采用最新的多人同时脑成像技术,深入探讨了自然情境下人际交流的认知神经机制。课题组此前的研究发现,在自然的交流环境中,面对面交流比背对背交流出现更强的脑活动同步(Jiang et al., 2012)。本研究则将脑活动同步在人际交流中的作用拓展到了噪声背景下。卢春明课题组的系列工作还探讨了人际间脑活动同步在社会关系形成和发展过程中的重要作用。研究发现,在交流过程中自发产生的领导者与追随者产生更强的脑间同步(Jiang et al., 2015);老师通过脑活动同步对学生知识掌握程度的预测越准确,对教学效果的促进作用就越显著(Zheng et al., 2018)。课题组的其他相关研究工作也在一一展开。

  

  该项研究的第一作者代博涵于2011-2014年在北京师范大学认知神经科学与学习国家重点实验室跟随卢春明教授攻读硕士学位(本研究是代博涵硕士期间的工作)。此后,代博涵赴荷兰马普心理语言学研究所及荷兰唐德斯脑、认知与行为研究所攻读博士学位(导师为美国科学院外籍院士、著名心理语言学家和神经科学家Peter Hagoort教授)。代博涵目前的工作主要采用脑磁图(MEG)技术探索大脑如何分离和编码噪声环境中的语音信息(Dai et al., 2017; Dai et al., submitted)。

  

  该项研究是卢春明课题组与加州大学尔湾分校的陈传声教授以及重点实验室语言认知与障碍研究团队的同事共同完成。该研究得到了国家自然科学基金(31622030 和 31421130158)和中央高校基本科研业务费专项基金(2017EYT32 和2017XTCX04)等基金项目的资助。

  

  参考文献:

  

  Dai, B., Chen, C., Long, Y., Zheng, L., Zhao, H., Bai, X., Liu, W., Zhang, Y., Liu, L., Guo, T., Ding, G., Lu, C. (2018). Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nat. Commun.

  

  Dai, B., McQueen, J. M., Hagoort, P., & Kösem, A. (2017). Pure linguistic interference during comprehension of competing speech signals. J Acoust Soc AM. 141(3), EL249-EL254.

  

  Dai, B., McQueen, J. M., Terporten, R., Hagoort, P., & Kösem, A.  Distracting linguistic information impairs neural entrainment to attended speech. (submitted).

  

  Zheng, L., Chen, C., Liu, W., Long, Y., Zhao, H., Bai, X., Zhang, Z., Han, Z., Liu, L., Guo, T., Chen, B., Ding, G., & Lu, C. (2018). Enhancement of teaching outcome through neural prediction of the students' knowledge state. Hum brain mapp.

  

  Jiang, J., Chen, C., Dai, B., Shi, G., Ding, G., Liu, L., & Lu, C. (2015). Leader emergence through interpersonal neural synchronization.  Proc Natl Acad Sci U S A. 112(14):4274-9.

  

  Jiang J, Dai B, Peng D, Zhu C, Liu L, Lu C. (2012). Neural synchronization during face-to-face communication. J Neurosci. 32(45):16064-9.

  

  欢迎下载原文:https://rdcu.be/0rZH

  卢春明课题组网站:http://sc.bnu.edu.cn/

TOP