首页 / 体育新闻 / 听觉与视觉存在相互干扰吗?

听觉与视觉存在相互干扰吗?

这是个认知心理学中被广泛研究的问题。已有研究表明,视觉听觉是会互相影响或者说交互(audio-visual interaction)的。所谓“交互”就是说听觉与视觉不一定是要互相干扰,他们相互作用、互为补充,最终的目的是让我们的知觉更加准确。下面先链接一个视频,著名的McGurk effect,它说明视觉与听觉共同影响对语言的知觉(speech perception)。
McGurk Effect—在线播放—优酷网,视频高清在线观看http://v.youku.com/v_show/id_XMjUzMTI3ODY4.html?spm=a2h0j.8191423.module_basic_relation.5~5!2~5~5!3~5~5~A&from=y1.2-1-176.3.视频中一分二十秒左右,左侧人做出“fa”的口型,右侧人做出“ba”的口型。如果盯着左侧人看就会觉得听到了fa, 如果盯着右侧人看就会觉得听到了ba,虽然其实听到的声音是不变的。

另一个我更喜欢的demo,但不确定国内是否能看:
The McGurk Effect
在这个视频里,女士做出的是“ga”的口型,声音是“ba”,但如果看着她就会觉得听到的是“da”或“tha”的音。

除了McGurk effect,还有一些研究更直接地证明了视觉与听觉会互相影响。比如在Kording等人的实验中,他们给被试同时呈现一个亮光(视觉刺激)和一个声音(听觉刺激)。亮光和声音可能出现的位置有五个,它们可能出现在相同或不同的位置。如下图,最左侧一列表示的是亮光位置,从左至右共五个,最上面一行是声音位置,也是五个。被试的任务是判断亮光和声音分别出现在哪儿。
蓝线和红线表示的是结果。左侧第二列(no audio)表示在没有声音的情况下,被试对亮光位置的判断。第二列第一个图,蓝线在最左边最高,表明被试判断亮光在最左边的概率最高,向右依次降低。比如第二列第四个图,我们看到蓝线在第四个位置达到最高,说明被试更多地判断亮光在第四个位置。同理,上面第二行的红线是在没有亮光时被试对声音位置的判断,虽然出现的失误比判断亮光时多,但还是相对准确的。
那么在亮光和声音同时出现时呢?这里的结果是说对亮光位置的判断没什么影响,但对声音位置的判断有。我们看最右边一列从下往上第三个图(亮光在中间,声音在最右边),红线表示被试对声音位置的判断,我们可以看出正确率明显比没有亮光的情况下低。没有亮光时(最上面那个只有红线的图),被试们更多地认为声音在最右的位置。但有亮光切亮光在中间时,被试更多地认为声音出现在第四个位置。这说明对声音位置的判断被“拉”向了亮光的位置。不过亮光对声音的影响也有可能是促进,比如从下往上第二行,从右往左第二个图,亮光和声音都出现在左数第四个位置时,被试判断正确的概率比没有亮光时更高。这说明与声音出现在同一位置的亮光促进了对声音位置的判断。

那么,为什么声音位置对亮光位置的判断几乎没有影响,而亮光对声音的判断则影响比较大?这是说明相对于听觉来说视觉占主导吗?我与老师交流后觉得未必如此,观察到的“不对等”可能与这个任务有关。在这篇文章里被试判断的是亮光和声音的空间位置,对空间位置的知觉上确实视觉比较占优。比如我们用眼睛对一个物体定位很容易,但用耳朵对一个声音定位就相对不准确。但对于另外一些任务,比如时间上的定位(temporal localization,如两个出现时间间隔很小的物体/声音出现的先后顺序),听觉就比较占优。所以,视觉能“影响”听觉可能是因为在听觉这个维度上信息不确定性比较大。

Heron等人(2004)的实验就研究了不确定性对视听觉交互的影响。在他们的实验里(如下图),屏幕上一共有三个白色刺激(文中成为blob,可以理解为三个外周模糊的白色圆)。中间的圆(运动圆)可以水平运动,两边的圆(静止圆)静止。被试眼睛盯着屏幕中央,运动圆每次会随机出现在一个位置,然后往左或往右运动。当运动到屏幕中间某一个位置时,运动圆就会被弹回去(即往回走)。在圆弹回时或在此之前的20ms或40ms或80ms或160ms,会有个声音出现。被试要判断这个被弹回去的点是在静止圆“连”成的分界线之前还是之后。如果视觉信息会被听觉信息影响,那么对弹回点的判断就会受到声音出现时间的影响。也就是说,如果声音出现时间比弹回时刻早,那么被试判断出的弹回点就会比实际的弹回点更“早”。

研究者控制的是视觉信息和听觉信息的相对不确定性(uncertainty)。比如,运动圆有时比较大(不确定性高)有时比较小(不确定性低)**。根据假设,不确定性高时容易被听觉信息影响。于是,圆比较大时,如果声音早于弹回点出现,被试知觉到的弹回点就会比实际弹回点早。而圆比较小时不确定性低,受到的影响就比较小,判断就会比较准确。实验结果也的确如此。

以上这些实验给以下观点提供了证据:
1,视觉与听觉可以互相影响,且它们进一步影响了其它认知功能(如对语言的知觉)
2,其互相影响的程度可能与信息不确定性有关,如果一个感觉通道获得的信息比较不确定,那么人们对于这一感觉通道的知觉更容易被其它感觉通道获得的信息影响。

我个人觉得,不同的感觉通道是协同工作的,根本目的是让生物对周围环境的知觉更为准确。所以这些结果也是情理之中,如果看到的东西比较让人难以判断,那么自然会整合听到的东西来帮助自己判断。不过这与因果推断(causal inference)也是有关的。在上面这个实验里,声音与弹回很接近,所以人们才会把两者关联起来。想象一下如果声音很早就出现了,比如在运动圆一出现时就出现了,那人们也不会因此就觉得圆很早就弹回了,因为此时声音显得与弹回一点儿关系都没有。

** 圆的大小与不确定性有关这一点也是有实验证明的,具体请参考Heron这篇文献。

参考文献
Heron, J., Whitaker, D., & McGraw, P. V. (2004). Sensory uncertainty governs the extent of audio-visual interaction. Vision research, 44(25), 2875-2884.
Körding, K. P., Beierholm, U., Ma, W. J., Quartz, S., Tenenbaum, J. B., & Shams, L. (2007). Causal inference in multisensory perception. PLoS one, 2(9), e943.会,玩音游的时候体会一下hh
and对于正常人,睁眼和闭眼时存在脑波转换是确定的√

之前视力下降的时候,验光师建议我再用手机看慕课的时候试试光听不看。
……

算了我这学期重修去了。
QwQ内心悲伤,果然还是有影响的QwQ

视觉 ,是一种很神奇的存在 。 视觉可以直接绕开大脑 ,直达意识 。人也许会忘记一句话 、忘记一个声音 。 但绝对不会忘记一个影像 。

它的粘度非常高 ,因为意识是以影像来思考的 。

举个例子 ,你从来没看到过这张照片 ,但是一旦看过之后 ,就无法再忘记 。将来任何时候 ,你再看到它的时候 ,一定知道自己曾经看到过它 。

再来举个例子 ,几乎所有人的声音,最后都会消失 ,只有极少数人的声音会被保留 。 但是绝大多数的影像可以被保留 。这是视觉的载体决定的 ,视觉载体非常多元:电子、纸张、底片 。 声音的载体就有些局限了 ,通常声音的载体是:文字 。

视觉的时代性非常明显 ,且不可逆 。 每过百年 ,整个社会的风格 ,都会经历巨大的变迁 。 视觉在记录变迁上 ,有相当的优势 。 因为不可逆 ,所以随着时间的流逝 ,价值会越来越凸显 。

灵魂的语言是感觉 ,而灵魂的文字 ,便是视觉 。

人是天生的视觉动物 ,视觉里蕴含的信息 ,超越大脑所能够明确意识且辨别的层面。

每个人,都会通过某些方式与途径,来达到长存于世的潜在希望 。 这种对于永恒的渴望 ,深深隐藏于意识深处 :无论是繁衍后代 、著书立作、 还是创造一些产品与服务 。 每个人都希望,在将来某个角落 ,藏有自己曾存在过的线索与痕迹 。

所以,您看 … 从现在到未来 ,将会存在的视觉信息 ,将会有多少 。

最后说一个我自己认为是真,但有点玄乎的感觉 。

如果人真的是轮回转世的 ,人在历史的信息中 ,往往会在潜意识里寻找自己曾经的记忆与痕迹 。这也就是人对某一时期的历史、或某一特定人群会特别有感触的原因吧?


再补充一些收藏的老照片 给大家看看吧

历史老照片里,富含的信息还是很多的…

时空不一样了 ,整个都不一样了。

人心追求的,心智追求的,身体大脑追求的 ,与心灵所追求的 。这几者是有明确区分的 。

心灵追求 :无限制 、自由、永恒 、真理 、真实 。

这种渴望 ,往往会被心智压制与覆盖。

影像与意识控制 ,息息相关 。

当人看到不管什么 ,都会存入意识 。

这是宗教之所以 ,能广泛开展的原因之一 。

越是意识局限的社会,能够看到的影像、听到的声音,就会越单一,而且不断重复。

恋人们之间 ,也是以这种方式建立联系 ,与控制彼此。

可惜 ,很大程度上 ,这种心智操控 ,与心灵的欲望是相抵触与相违背。

了解你该了解的 ,看清楚这一切,看清楚自己与他人 。这个世界上 ,人与人的关系 ,最为复杂 。 人心也最为难以琢磨 。

仔细听自己内心的声音 ,不要只分析他人的想法 。 人心很多时候都只是为了操控 、控制、占有 ,影响而发出声音 。

对此一定要清醒 。

人,只是在他人身上,看到自己。

在自己身上 ,却什么都看不见 。

人,只是在他人的声音里 ,感觉自己。

但他人的声音 ,很多时侯 ,即不中,也不正 。

打着为人的旗号为已 ,打着爱的名义伤害 。

不说了 ,任何人活一世 ,都是极为不易的 。

各种境遇 ,缺乏任何一种意识与态度 ,都会带来难以克服的境遇 。

最后 ,祝各位开心 ,愿各位顺心 ~


乘着把老照片都翻出来了 ,再多上一点图吧 , 多图警告中 。

上海其实是非常西化的 ,在很早以前。

多喜庆和善的姑娘

应该是两兄弟

1939年哦 一位叫 某乃雲 的姑娘

民国二十九年十一月 名为 某永康

1947年 上海 億佩结婚时摄

应该是某中学 有没有觉得此男孩站位很… 到位?

这应该是民国早期了吧?

有没有觉得 ,民国气质 还是很好的?

民国时期的人 ,比较端正 ,气质比较好。

上海滩

1936年 7月 17日 堃泉

民国三十七年 五月二十四日

吴椒芬 (女)顾衍堃 (男)

鲍賢灃 上海 常熟路108弄 3号

贾筱雲 小姐 1936年

1933年4月8日

从左至右分别是: 映 、思、燕、娟、忠、栋

无名氏

孙秉楚 二十一岁 1937年3月9日 上午 摄于 上海有德照相馆

无名氏

撰文 | 东华君
编辑 | 赛先生
“脑人言”版本:感觉之间会相互影响吗?
“赛先生”版本:感觉之间会相互影响吗?

我们人类拥有五种公认的感觉:视觉、听觉、触觉、嗅觉和味觉。这些感觉被分成不同类型,是否意味着它们之间“老死不相往来”?

有人说自己摘下眼镜之后听力下降了,还有人说自己能够听到彩虹的颜色,这些是谣言,还是其中自有科学道理?

神奇的“elephant juice”

首先,我们来做一个有趣的实验。方法很简单,找一个小伙伴,面对面坐好,然后对他/她说句“elephant juice”——说的时候不要发出声音,只做出嘴型便可。

你的小伙伴“听”到了什么?这时,对方的答案多半很有趣。虽然你说的是“elephant juice” ,但是对方大概率会认为你说的是 “I love you” 。

原因很简单,因为当我们说 “elephant juice” 和 “I love you” 的时候,嘴型的变化非常相似。由于后者对于我们而言更为常见(大象汁是什么?脑洞好大哈哈哈),我们的大脑便很容易根据嘴型产生误判。

图1. 电影Elephant Juice(1999)海报 (图片来自网络)

这一实验,可以很直观地向我们传递一个有趣的信息:我们接收到的某些信息不是来自单一感觉,而是多种感觉整合的结果。并且,如果我们将这些感觉信息进行分离的话,可能会对我们大脑的判断产生误导。

多感觉整合能增强已获取的信息

这些现象涉及的原理被称为“多感觉整合”(multisensory integration),是神经科学和心理学领域比较有趣的一类研究。多感觉整合主要研究来自不同感觉方式的信息——例如视觉、听觉、触觉、嗅觉、味觉和自我运动——被神经系统整合的过程。

由于长期生活在包含了各种刺激信息的丰富环境,动物和人类早就进化出了一整套健全又高效的多感觉整合机制。该机制是适应行为的核心,影响着我们生活的方方面面,可以说无所不在。

既然多感觉整合这么普遍,为什么我们平常感觉不到呢?

图2. 单一感觉信息强度越弱,多感觉整合越明显。右侧图片中绿色的有核物体表示神经细胞,周围的竖线则是神经细胞的活动强度。(图片来源:参考资料2)

最主要的原因大概是它太普遍了,我们早已习以为常。

另一个有趣的原因是,多感觉整合的强度大小与单一感觉的强弱有很紧密的关系。简单地说,当单一感觉比较强时,多感觉整合后增加的强度相对较小,不易被察觉;当每个单一感觉都比较微弱时,多感觉整合后增加的强度相对更大,甚至要大于之前两种感觉强度之和。日常生活中的单一刺激信息(视觉)通常比较强,可能会导致多感觉整合不易被察觉。

图2描述的是在大脑中参与多感觉整合的一个关键脑区——上丘(superior colliculus)中的神经细胞对视觉和听觉信息整合的反应情况。当一只狗在远处时,我们同时看到它的移动,听到它的叫声,脑中神经细胞对多感觉整合信息的反应强度要远大于只接收单一感觉信息(看到/听到)的情况。而当它趴在我们窗户上时,因为单一感觉信息都变得特别强烈了,这种多感觉整合虽然也会存在,但是增加的强度会相对降低,不易被察觉。

图3. 听、说、读、写同步发展有助于学习语言(图片来源:Eye primary school)

上面这个例子说明了多感觉整合能增强(和减弱)已获取信息的能力。这也是我们在学习新的事物时一直强调多感觉信息输入的原因之一。比如,学习语言的时候老师就一直强调:听、说、读、写一样都不能落下(图3)。我小时候就不理解为什么要这样做,背单词的时候总有一个疑问:为什么看到单词后还要读出来,在心里默念不就行了么?事实证明,单独看或者听的效果不如双管齐下。可惜的是,我在读了神经生物学博士之后才深刻地体会到这一道理。

多感觉整合能创造新的信息

有趣的是,多感觉整合机制不仅可以强化信息,还能创造新的信息。

一个著名的例子是心理学中被称为“麦格克效应”(McGurk effect)的经典概念。“麦格克效应”说的是语音感知过程中听觉和视觉之间存在相互作用:有时人类的听觉会过多地受到视觉的影响,从而产生错误的认知(视频1)。

https://www.zhihu.com/video/1119557946799009792

视频1. “麦格克效应” (视频来自网络)

在这个视频里,单独的看/听的话,我们会发现这位男士做出的是“ga ga ga”的口型(视觉信息),声音是“ba ba ba” 音节(听觉信息)。但是如果同时接收视觉和听觉信息,我们的大脑就会觉得听到的是“da da da”的音节。

“麦格克效应” 虽然很出名,但是并不常见。大家最熟悉的例子可能是大脑产生味道(taste)的过程。事实上,我们老早就已经有所体会——小时候,妈妈会捏着鼻子给我们喂药,告诉我们这么做能让药变得不那么苦。现在回过头来想想,不少人可能会觉得挺奇怪:鼻子里面又没有味觉感受器,怎么还可以 “闻” 出酸甜苦咸鲜?

图4. 捏着鼻子吃药能降低我们对“苦”的感觉(图片来自网络)

这正是多感觉信息在脑内整合的结果——关于药物的味觉、嗅觉、视觉信息经过舌头、鼻子、眼睛等感觉器官的收集之后,会在脑内汇聚、整合,形成一种全新的、包含了多种感觉信息的味道。这一味道理论上还会受到之前记忆中的信息的影响。

虽然长大后的我们不会再有捏着鼻子吃药的体验,但闻出味道的情况仍然存在。每当我们感冒或者鼻炎发作的时候,胃口就会不好——吃菜时只能感觉到咸淡,完全体会不到饭菜往昔的美味,甚至会产生“味同嚼蜡”的感觉。这正是由于鼻子失灵导致嗅觉信息获取受阻,进而导致我们无法感知饭菜“全方位立体化”的味道。所以说,我们对一道好菜要求色、香、味俱全,一点都没毛病~

如何使用多感觉整合机制欺骗大脑?

既然明白了个中缘由,我们便可以通过一些特殊的手段来操控我们的“信息处理系统”,让大脑“上当受骗”。相比日常生活中的衣食住行,有些特意设计的实验/方法更能够让我们明显地意识到多感觉整合信息的存在。

比如,我们小时候看的少儿节目中,主持人经常拿着一个可以套在手上的小玩偶,通过操控这些玩偶的嘴巴,再加上自言自语,便能制造出和它们对话的感觉。长大之后我们可能会觉得这很幼稚,但在当时,这的确丰富了我们对童话故事的憧憬和想象。

这个做法便是对多感觉整合机制的运用。心理学上将这种声音线索的错误定位称为“口技效应” (ventriloquist effect):我们大脑所感知到的声音线索的位置,会被明显的视觉线索引导到其所在的地方。小玩偶的话虽然是从主持人的嘴里说出来的,但是玩偶们一张一合的嘴巴却是一个强烈的视觉信息, “欺骗” 了大脑,使我们认为话是从玩偶的嘴里说出来的。

图5. 为什么大脑会认为这些玩具会说话?(图片来源:Muppet Wiki)

这一效应另一个常见的应用是在电影院。电影院的音响来自于放置在不同方位的音箱,可能在大厅两侧、观众的身旁或者座位下面。但是当我们看到银幕上的演员说话时,会不由自主地相信声音出自演员之口。这正是因为强烈的视觉刺激导致我们的大脑误认为声音来自银幕。

这些有趣的现象被统称为“交叉模式错觉(cross-modal illusions)”,指的是不同感觉的整合会导致大脑对真实刺激信息的认知产生偏差。现实生活中任何两种,或者多种感觉信息在特定的情况下都可能发生整合现象。

我们可以通过一个简单的实验来亲身体验更不易察觉的,触觉和听觉的相互作用。具体的做法是先在黑板上写一些字,然后擦掉,带上耳机隔绝写字时的声音,再在同样的地方写上完全相同的字。当你无法听到粉笔在黑板表面上发出吱吱声响时,即使用的是相同的黑板和粉笔,书写的时候也会明显地感觉更顺畅。很显然,书写时发出的声响(听觉)会影响我们对书写过程中手感(触觉)的感知。

除了上面举的这些例子,多感觉整合机制其实早已以各种各样的形式进入了我们的生活,只是很多都还没有被我们意识到。比如,一些有趣的研究表明,我们的大脑会认为装在白色杯子里的咖啡显得味道更淡,吃的时候发出嘎嘎声响更大的薯条味道更新鲜等等。

正似如此,还有许多有趣的神经科学和心理学知识普遍存在于我们的日常生活中,相信我们能通过明亮的眼睛去发现更多。智慧地运用这些知识还可以便利我们的生活,毕竟,说“elephant juice”容易多了〜

主要参考资料:

1.B. Bonath et al., Neural basis of the ventriloquist illusion. Curr Biol 17, 1697-1703 (2007).

2.B. E. Stein, T. R. Stanford, Multisensory integration: current issues from the perspective of the single neuron. Nat. Rev. Neurosci. 9, 255-266 (2008).

3.H. McGurk, J. MacDonald, Hearing lips and seeing voices. Nature 264, 746-748 (1976).

存在。

一个很简单的道理:近视的人不戴眼镜听别人说话会总是听不清。

本文来自网络,不代表AG体育立场,转载请注明出处:http://www.zzlyjnkj.com/sportnews/39295/

365bet作者

上一篇
下一篇

为您推荐


返回顶部