目前语音信号处理主要研究的内容有哪三个方面及各自的目标是什么

目前语音信号处理主要研究的内容有哪三个方面及各自的目标是什么,第1张

语音信号处理的三个方面以及各自的目标:

1语音合成。

语音合成的是为了让计算机产生高质量的、高自然度的连续语音。计算机语音合成系统又称文语转换系统(TTS),主要是将文本输出语音。发展过程:共振峰合成、LPC合成、PSOLA技术。

2语音编码。

在语音信号传输过程中,频率资源的合理使用,显得很珍贵,所以在传输之前,先将语音信号进行语音编码压缩。

3语音识别。

语音识别涉及到语言学、计算机科学、信号处理、生理学等相关学科,是模式识别的分支。其主要目的是让计算机通过识别和理解将语音翻译成可执行的命令或者是文本。

主要研究方向:根据说话方式,孤立语音识别系统,连接词语音识别系统,连续语音识别系统。根据说话人,特点人识别系统,非特点人识别系统。根据词汇量,小词汇语音识别系统,中等词汇语音识别系统,大词汇语音识别系统,无穷词汇识别系统。

语音是人类社会交流的基本形式之一,它是通过说话来传达信息和意义的方式。从人类历史的角度来看,语音技术的发展和社会文化的变迁是相互影响的,而这种相互影响又会对当今的跨文化交际产生一定的影响。

首先,语音技术的历史性影响了现代跨文化交际。早期的语音技术只能支持本地语言的使用,这造成了不同地区在文化、语言和社会交流上的隔阂,因为语音技术无法满足不同语言之间的跨度和直接通信。然而,随着技术的不断发展,特别是数字化技术的兴起,语音通信可以像电子邮件一样方便地跨过语言和文化的障碍,这对于全球化文化的发展和跨文化交际有着重要的影响。

其次,社会文化的变革产生了对语音技术的需求和影响。伴随着工业化和城市化的发展,人类的生活方式和社会关系发生了深刻的变化,随之而来的还有对语音语言的新需求和新技术的崛起。全球化背景下的跨文化交际也受到了这些变化的巨大影响。现代的跨文化交际需要适应不同文化和社会背景下的不同需求和需求,多样化和个性化的语音技术变得更加重要。

最后,语音和社会的交流互动为跨文化交际提供了更多的可操作性。在今天,语音技术的发展让跨语言交流更加容易,交流平台和社交媒体上利用语音的应用也越来越流行,这使得跨文化交际的交流和互动更加具有实际操作性和可贵性。同时,社会对语音技术的不断需求与变化,也推动着语音技术的不断创新和发展,进一步推动了跨文化交际跨越语言、文化、社会的界限。

总之,语音与社会的历史性对当下的跨文化交际产生了深远的影响,语音技术的不断创新和发展,为跨越不同文化之间的交流和互动提供了可行性,为全球化背景下的跨文化交际开拓了更加广阔的空间。

其实两种表述方式得到的答案都是一样的,也就是附近餐厅的推荐。而两种表述的体验区别就在于车机能否准确识别其中语义,带来的用户体验也是不同的。

“可见即可说”引起的分歧

两位同样试驾过哪吒S的同事曾经为了语音交互展开过辩论,两人的分歧点在于:

A认为哪吒S满足“可见即可说”,并且可控范围广。

B认为假如他在理想L9上说“我饿了”,语音助手就能识别他的意思并给出餐厅推荐,而哪吒S没啥反应,必须要说出“附近有什么吃的?”这种明确的需求语音助手才会给出相应反馈,让他感觉交互体验有些死板。

说白了,A更看重“可见即可说”的可控范围和指令调用准确性,从这一点来看,哪吒S语音的四音区识别、车辆硬件可控范围、功能应用可控范围确实在新势力车型中处于比较领先的地位。

而B则更加看重语音交互的情感智能化体验和更加自然的对话效果,也就是说问题主要还是出现在更加拟人化、口语化的语义泛化层面。

“语义泛化”包含的形式很多样,但为了帮助大家更好地理解,上文中所提到的“语义泛化”我们可以简单理解为“一朝被蛇咬,十年怕井绳”的表面意思。

被蛇咬了一次以后,在遇到绳子这种细长的相似的东西就会对被蛇咬的经历产生联想。

关键就在于联想能力,用户说出一个词汇或一句话,语音助手能够根据语义识别并联想到更多同音词、近反义词以及扩展词汇等,并从中进行检取,从而对用户需求进行准确转化。

关于同事B用“我饿了”来调取车机的餐厅推荐能力就是如此。如果能够调用成功,很明显代表着语义泛化能力更广,而在体验层面上也会让车机形象在用户心目中更加拟人化,毕竟它能“猜”出用户的真实意图嘛。

不过利用“我好冷”、“我肚子饿了”、“下雨了”等这种类人的交流语句来调用功能,目前车机的语音交互基本也都可以满足了,只是相对范围还比较局限。

“舍”还是“得”

其实之前在体验哪吒S的时候,我也问过哪吒负责座舱研发的工作人员类似的问题:

“假如我们看电视剧让哪吒帮忙选集的时候不用看着屏幕上的字一板一眼地表达‘选集——16’这种,直接说‘帮我选第16集吧’这种形式的语句也有回应的话会不会更自然一些呢?”

对此哪吒的工作人员表示,他们也考虑过这个问题,但是用户实际的对话场景是非常多样性的。如果想要让车机的语音交互支持更广的模糊语义范围,满足用户更加口语化的表达,那一定不是针对一个指令,而是要从所有场景入手。

并且有的用户本身就更加喜欢用最明确的要求、更少的字数以更快地调用指令,加上考虑到座舱芯片的可处理能力和车机交互的流畅性,所以斟酌之后做出了这样的选择。

总结一下观点就是,哪吒S车机语音交互的目标是让用户更快地调用指令,语音调用的范围更广,而要让交互过程更加统一、简洁也面临着相应的取舍。

撇开这一小点,哪吒S的语音交互就我个人体验来看,语音助手的人声还原度、唤醒后支持无数轮连续对话、与朋友聊天时语音助手优先识别对应位置以及上下文语境理解等方面的体验都是很不错的。

当然,同事B如此在意车机语音对话的自然性也不是没有缘由的。

语音交互发展三阶段

毕竟随着语音交互的发展,“更自然”早已成为现阶段语音交互发展的核心,新势力车型的座舱宣传也往往离不开“情感智能”这几个字。

早在20世纪90年代就诞生了第一个具备普适性的语音识别系统,每个人都可以通过电话拨号的方式开始语音问答,但当时由于时代、环境、技术等诸多局限性必然存在很多缺点。

即使该项技术发展至今,我们在拨号查询快递或是拨打移动运营商号码办理业务时也依然经常存在暴跳如雷地按下人工接待键的情况。

当语音交互发展到第二时期,移动端集成视觉和语音信息的语音助手成为主流。

比如当初苹果在iPhone4S,iPad 和Mac上应用的语音助手Siri一经推出就成了网红,机主们只要说“Hey ,Siri”就可以通过语音交互来完成读短信、介绍餐厅、询问天气、语音设置闹钟等等操作。

另外,这一时期车机端也有了基础的语音产品,车主们可以在停车和驾驶状态下利用语音调用平时使用频率较高的功能,但由于技术局限性和使用习惯的问题,前期用户们唤醒语音助手进行指令操作的频率仍然是比较低的。

不过,随着互联网技术井喷式的发展,车机端的语音交互功能逐渐完善,很多车型的车机可以同时使用语音和屏幕交互的多模态交互形式,大大提高了处理任务的效率,也有了支持连续对话的可能性,用户们自然也就喜闻乐用了。

根据相关资料显示,在这一阶段,人机界面的演化轨迹从偏向机器的一端移向了人的一端,这已经暗示了“更自然”、“情感化”会成为未来语音交互发展的主打标签。

而我们正处于语音交互从第二时期发展到第三时期的过渡阶段。随着人工智能的发展和商用落地,车机交互方面的语音识别和语义理解能力都发生了质的飞跃,对应的用户场景也从驾车到生活的方方面面都有涉及。

语音交互面临的挑战

不过,尽管使用“听”和“说”作为车机交互的主要方式大幅减少了用户获取信息所需的学习成本,但目前的语音交互也依然存在诸多挑战。

比如多轮对话流畅性体验还有很大提升空间,比如多人、多细分场景对话体验有待拓展,比如基于语音对话与可穿戴设备或HUD相结合以提升用户更快信息获取度的可能性等等。

而当前相对更重要的,就是扩大语音助手的语义理解范围,包含上下文语境理解、模糊语义识别等需求,这也是让用户体验更自然的秘诀所在。

像目前有很多车型都官宣了车机即将接入百度发布的大模型生成式对话产品——文心一言,不过具体效果还得看后期的实际体验才行。

另外,在上海车展期间我也体验了商汤前段时间发布的“sensenova”大模型体系,其中“商量”语言模型也支持连续对话和上下文语境理解等功能,个人也非常期待它在未来座舱中的落地效果。

不难发现,不论是车企还是供应商都在积极拓展车机端语音助手的能力边界,而语境的识别与理解能力也已经成为那一道众“鲤鱼”要跃的“龙门”。

不禁想起在科幻题材类影片《永无止境》的大结局中,男主大脑开发到了百分之百也依然搞不定中文。

这个例子虽然夸张了些,但个人感觉目前语音交互能力拓展的主要难点还是“中国文化博大精深”,这也代表着车机端的语音交互发展仍然有很长的路要走。

本文来自易车号作者AutoLab,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关

(一)时代发展的需求。《中国教育改革和发展纲要》中指出:“振兴民族的希望在教育,振兴教育的希望在教师”。教育的发展日新月异,随着《幼儿园教育指导纲要(试行)》的颁布和幼儿园课程改革的不断推进,又对教师提出了更新、更高的要求。重视儿童语言运用能力的发展,是近年来国际儿童语言教育的一个共同趋向。我们拟立足于幼儿园实际、教师实际与教学实际,以集体教学研究为重点,加大听课、说课、评课、上课的力度,为提高入职教师的集体教学有效提问能力做积极的尝试,努力提高教师的教学技能,为幼教改革的纵深发展奠定基础。

(二)幼教发展的需求。《幼儿园教育指导纲要》明确提出了:“鼓励幼儿大胆清楚表达自己的想法和感受,尝试说明、描述简单的事物和过程,发展语言表达能力,是幼儿园教育的一项重要任务,幼儿期也是人掌握语言的关键期。因此,以本课题的研究作为幼儿教师探索培养幼儿语言表达能力的途经和策略就有极高的研究价值。

二、课题的界定

“幼儿语言表达能力的培养”包括教师为幼儿创设良好的语言环境,提供丰富的语言信息,通过生活活动、集体活动、游戏活动激发幼儿想说的愿望,培养幼儿敢于大胆、大声地说,引导幼儿学习语言表达方式和技能,使幼儿养成积极运用语言表达的良好习惯。本课题的研究中教师并不刻意地去追求幼儿语言表达能力的强弱一致,而认同个体之间语言能力客观存在的差异,力求不同程度地激发幼儿的语言表达能力,使每个幼儿从想说到敢说、会说。

三、本课题在国内外的研究现状及发展趋势

20世纪70年代末80年代初,以心理语言学家古德曼为代表的一批学者,受维果斯基理论的影响,将儿童语言教育置于社会环境中进行再思考,并且吸收了当代有关儿童语言发展的研究成果,开展了“全语言”的语言教育改革运动。从20世纪90年代起,“全语言”运动波及国际学前教育界。在我国幼教正处于引进新的教育观念和理论的重要阶段,同时也是中国幼儿教育与国际幼儿教育接轨的时期。

从80年代开始,在我国幼儿园教育改革中对学前儿童语言发展和语言学习方面作了大量研究,如:《日常生活中发展幼儿语言能力的研究》、《多途径培养幼儿语言表达能力的实践研究》等等。以上的课题分别从一日活动的某个环节侧重的就幼儿良好的语言习惯和语言表达能力的培养展开了研究,为发展幼儿的语言能力积累了丰富的教育经验。因此,我们结合幼儿园的实际情况,创造性地开展《幼儿语言表达能力的培养》课题研究,是具有一定的研究价值的。

四、课题研究的理论依据

(一)幼儿身心发展的规律。幼儿身心发展的规律表明:幼儿听觉和言语器官发育逐渐成熟,正确地发出全部语音的条件已具备,幼儿期是人掌握语言的关键期。因此我们选择本课题,在关键期重视幼儿的语言表达能力的培养,充分发挥幼儿语言发展的优势。

(二)全语言教育理论。全语言教育理论提倡的是开放式的语言教学,它将传统的师传生教的语言教学过程转变为教师和幼儿合作学习的过程,认为幼儿的语言学习是整体性的、自然而然的;是整合的、开放而平等的;是创造性的学习。所以,我们将通过师幼互动、幼幼互动等多种形式,给幼儿提供学习和发展语言的机会,从而促进幼儿语言表达能力的提高。

(三)维果斯基的最近发展区理论。维果斯基的最近发展区是指“儿童现有的独立解决问题的水平和通过成人或更有经验的同伴的帮助能达到的潜在的发展水平”。教师把握好最近发展区能加速幼儿语言的发展。因此,本课题的研究将考虑在教学过程中要充分考虑到不同的幼儿发展差异,提出不同层次的目标要求,并且有响应的材料提出和指导策略,通过互助式学习及过程评价,支持和促进幼儿在原有水平上的发展和提高。

(四)《纲要》中语言领域的“内容与要求”。它提出:鼓励幼儿用清晰的语言表达自己的思想和感受,发展语言表达能力;创造一个自由、宽松的语言交往环境,支持、鼓励、吸引幼儿与教师、同伴交谈,体验语言交流的乐趣;提供普通话的语言环境,帮助幼儿熟悉、听懂并学说普通话。“指导要点”提出:语言能力是一种综合能力,幼儿语言的发展与其情感、思维、社会参与水平、交流技能、知识经验等方面的发展是不可分割地联系在一起的,语言教育应当渗透在所有的活动中。

五、课题研究的目标

1本课题的研究以日常一日生活活动、集体活动、游戏活动为切入口,养成幼儿良好的倾听习惯,激发幼儿想说的愿望,培养幼儿敢于大胆、大声、连贯且围绕主题地说,引导幼儿学习语言的表达方式和技能,使幼儿养成积极运用语言表达的良好习惯,发展幼儿语言表达、理解、领悟思维等能力。

2探索出适合本园幼儿实际的发展语言表达能力的教学活动内容、方法和组织形式,改变目前教学活动中零碎、缺乏系统性的教育现状,引导教师在教育实践中改善教育行为,提高教师组织幼儿活动的能力,提升教师语言教育的素质,全面提高幼儿园教育质量。

六、课题研究的内容

(一)充分利用一日生活各个环节,进行随机教育,对幼儿进行语言能力的培养。

1利用午睡环节,对幼儿进行倾听、讲述等能力的培养

听故事是幼儿非常喜欢的一项活动,利用午睡环节,开展故事讲述不但能调动幼儿午睡兴趣,更重要的它能有效的培养幼儿的倾听能力。倾听能力的培养需要营造安静的环境,午睡环节正是对幼儿倾听能力培养的极好时机。

2利用进餐环节,组织幼儿欣赏轻音乐、散文、诗歌,初步学会欣赏性倾听、目标性倾听、辨别性倾听、创造性倾听和批判性倾听。

3利用晨间来园及晚间离园时间进行语言的培养

在晨间开展一些“我看到的新鲜事”“昨晚我家发生的事”等交流讨论的话题。在离园时,开展一些“今天回家做些什么”“我们的约定”等主题或无主题的聊天活动,都为幼儿的口语表达提供了学习的机会。除此之外,教师还可以利用此环节,为幼儿提供随手可取的优良书籍,书面材料。让幼儿有自由选择的进行学习、阅读。为幼儿提供一些拼音积木、拼字玩具、字的接龙游戏等,通过一些有趣的方式,提供有趣的材料给幼儿摆弄玩耍,加深幼儿对书面文字表达的印象。

(二)有效把握集体教学与区域活动中的语言指导。

1利用语言教学活动,创设语言学习的机会和交流情境,提高幼儿语言表达能力

例如:在复述故事《金鸡冠的公鸡》时,我设计了简便、新颖、富有吸引力的指偶,有公鸡、狐狸、猫、画眉鸟等让幼儿套在手指上练习角色的对话,并指导幼儿学习用声调、动作、表情来表现故事的内容。又如指导幼儿把家里废旧的纸、袋上的人物、景物剪下收集起来,让幼儿拼成有情节的画面编出有趣的小故事讲给大家听。这些“废旧物品”不仅成了幼儿参与活动的诱惑物,而且成了幼儿教育表达言语的直观教具,孩子们的口语表达能力明显提高。

2在各领域的教学中,有机渗透已有语言经验,提供幼儿运用语言进行表达的机会。

新《纲要》中明确指出:发展幼儿语言的重要途径是通过互相渗透的各领域的教育。因而,我们应该让幼儿在丰富多彩的各种活动中去扩展幼儿的经验,提供促进语言发展的条件。例如在科学活动、艺术活动、健康活动等等。

3利用区角的创设、材料的投放以及情境的创设支持幼儿的语言表达。

我们利用区域活动(语言角、美术角、音乐角……),活动区准备了各种玩具、废旧物品等,活动时由幼儿自己选择到各个区域玩,幼儿也就看看说说、玩玩说说、演演说说。如语言角,幼儿手拿玩具,扮演着各种角色,他们自编对话,互相交谈。在选择角色时,教师鼓励幼儿交换角色,因为角色变了,语言行为也随之改变,由此让幼儿在不同角色的交往活动中获得语言的发展。

4开展丰富多彩的活动,调动幼儿说话的积极性。

定期组织一些活动如定期举行儿歌朗诵会、讲故事比赛、语言教学游戏等,对幼儿语言能力的培养具有促进作用。尤其如讲故事活动,不仅能提高幼儿兴趣,而且还能发展幼儿的创造性思维。

(三)家园配合,共同培养孩子的语言表达能力。

《纲要》指出:家庭是幼儿园重要的合作伙伴,由于幼儿大部分时间是在家庭中渡过的,他的言语直接受家长的影响和暗示,因此家长对幼儿语言表达能力的培养起着举足轻重的作用。为此我不仅在幼儿园加强实施对幼儿语言表达能力的培养,而且在幼儿家长中广泛进行宣传,并争取多种方法,引导家长注重对幼儿语言表达能力的培养,争取家园共同配合,起到事半功倍的效果。

七、课题研究的方法

1文献研究法:①从报刊、网络上查阅与本课题相关的研究资料,了解并掌握他人的研究成果,通过分析比较进一步明确自己当前研究的起点。②在查阅“对话理论”的文献基础上,从理论上界定“对话”的特性,明确多重对话网络中每一对话形式的特点和地位,明确其中教师角色的作用。

2行动研究法:精选教材,针对不同领域和各具特色的教学方案,进行加以实践,分析对话理论应用的实效性。

3个案研究法:选取某些有代表性的幼儿,进行全程地跟踪分析评价,了解幼儿和教师在对话理论实践过程中的表现与反映,以点代面,了解研究的进展和效果,便于把握课题研究的方向。为对话理论的应用研究提供实践依据。

4观察法:在自然条件下有目的、有计划地对观察对象及其行为进行考察、记录、分析,了解幼儿和教师在语言活动中的行为表现。

5经验总结法:分析评价对话理论在幼儿园语言活动中应用的实效性,并不断总结经验,提升成为理论,写出经验总结性论文或研究报告。

语音情感识别和脸部情感识别相比,各有方便、技术成熟、直观、难以伪造的优势。语音识别技术的应用通常是在人机交互上,让机器通过是被和理解语音信号之后转化为相应的文本和命令然后进行执行。人脸识别网络技术使用通用的摄像机作为识别数据信息资源获取装置,以非接触的方式在识别研究对象未察觉的情况下完成识别发展过程。语音情感识别和脸部情感识别各具有以下优势:

1、语音情感识别优势。和脸部情感识别技术相比,语音识别技术的优势似乎更加明显,语音识别技术不会遗失和忘记数据,不用记忆,在应用的时候也比较方便。语音识别技术比较成熟,用户的接受度也很高,声音输入设备造价也很具有优势,在隐私问题上,语音识别技术也比较有保障,所以推广使用还是很有市场的。

2、脸部情感识别优势。人脸识别系统使用可以方便,人脸识别技术是以人脸图像为基础的,最直观的信息来源,便于人工确认和审核。人脸识别技术是独一无二的,与语音情感识别技术相比,人脸识别技术具有准确率高、难以伪造、误识别率和拒识率低的特点。

人们期盼着能拥有并使用更为人性化和智能化的计算机。在人机交互中,从人操作计算机,变为计算机辅助人;从人围着计算机转,变为计算机围着人转;计算机从认知型,变为直觉型。显然,为实现这些转变,人机交互中的计算机应具有情感能力。情感计算研究就是试图创建一种能感知、识别和理解人的情感,并能针对人的情感做出智能、灵敏、友好反应的计算系统。

情感——人际通信交流的重要手段

情感被用来表示各种不同的内心体验(如情绪、心境和偏好),情绪被用来表示非常短暂但强烈的内心体验,而心境或状态则被用来描述强度低但持久的内心体验。情感是人与环境之间某种关系的维持或改变,当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感,而不符合时则会引起人消极否定的情感。

情感具有三种成分:⑴主观体验,即个体对不同情感状态的自我感受;⑵外部表现,即表情,在情感状态发生时身体各部分的动作量化形式。表情包括面部表情(面部肌肉变化所组成的模式)、姿态表情(身体其他部分的表情动作)和语调表情(言语的声调、节奏、速度等方面的变化);⑶生理唤醒,即情感产生的生理反应,是一种生理的激活水平,具有不同的反应模式。

概括而言,情感的重要作用主要表现在四个方面:情感是人适应生存的心理工具,能激发心理活动和行为的动机,是心理活动的组织者,也是人际通信交流的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的,具有独立的神经生理机制、内部体验和外部表现,以及不同的适应功能。人有五种基本情绪,它们分别是当前目标取得进展时的快乐,自我保护的目标受到威胁时的焦虑,当前目标不能实现时的悲伤,当前目标受挫或遭遇阻碍时的愤怒,以及与味觉(味道)目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。

情感可以测量应用深远广阔

情感测量包括对情感维度、表情和生理指标三种成分的测量。例如,我们要确定一个人的焦虑水平,可以使用问卷测量其主观感受,通过记录和分析面部肌肉活动测量其面部表情,并用血压计测量血压,对血液样本进行化验,检测血液中肾上腺素水平等。

确定情感维度对情感测量有重要意义,因为只有确定了情感维度,才能对情感体验做出较为准确的评估。情感维度具有两极性,例如,情感的激动性可分为激动和平静两极,激动指的是一种强烈的、外显的情感状态,而平静指的是一种平稳安静的情感状态。心理学的情感维度理论认为,几个维度组成的空间包括了人类所有的情感。但是,情感究竟是二维,三维,还是四维,研究者们并未达成共识。情感的二维理论认为,情感有两个重要维度:⑴愉悦度(也有人提出用趋近-逃避来代替愉悦度);⑵激活度,即与情感状态相联系的机体能量的程度。研究发现,惊反射可用做测量愉悦度的生理指标,而皮肤电反应可用做测量唤醒度的生理指标。

情感是一种内部的主观体验,但总是伴随着某种外部表现,即表情。面部表情、姿态表情、语调表情三种表情被称之为体语,构成了人类的非言语交往方式。面部表情是指通过眼部、颜面和口部肌肉的变化来表现各种情感状态。面部表情不仅是人们常用的较自然的表现情感的方式,也是人们鉴别情感的主要标志。研究表明,人脸的不同部位具有不同的表情作用,例如,眼睛对表达忧伤最重要,口部对表达快乐与厌恶最重要,前额能提供惊奇的信号,而眼睛、嘴和前额等对表达愤怒很重要。使用特定的仪器可以对面部的微小表情变化进行研究,甚至可以区分真笑和假笑:人在真笑时面颊上升,眼周围的肌肉堆起,大脑左半球的电活动增加;而人在假笑时仅有嘴唇的肌肉活动,下颚下垂,大脑左半球的电活动不明显。脸部运动编码系统facs通过不同编码和运动单元的组合,可以在脸部形成复杂的表情变化,其成果已经被应用于人脸表情的自动识别与合成。还有mpeg-4 v2视觉标准,定义了3个重要的参数集,即人脸定义参数、人脸内插变换参数和人脸动画参数,其表情参数具体数值的大小代表人激动的程度,可以组合多种表情以模拟混合表情。目前面部表情的研究侧重于对三维图像的更细致的描述和建模,也注重使用复杂的纹理和较细致的图形变换算法,以达到生动的情感表达效果。

人的姿态即身体表情,一般伴随着交互过程而发生变化,并表达着一些信息。而语调表情是通过语音的高低、强弱、抑扬顿挫来表达说话人的情感。在人际交往中,语音是人们最直接的交流通道。通过语音人很容易就能感受到对方的情感变化,就像“你真行!”这句话,既可以表示赞赏,也同样可以表示讽刺或妒忌。情感语音研究目前主要侧重于情感的声学特征的分析。语音中的情感特征往往通过语音韵律的变化表现出来(如当一个人发怒时,讲话的速率可能变快,音量变大,音调变高等),但也可同时通过一些音素特征(如共振峰、声道截面函数等)表现出来。中国科学院心理研究所、中国科学院自动化研究所、清华大学计算机系等机构都在从事相关研究。

在人机交互研究中已使用过很多种生理指标,例如,皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电eeg等。生理指标的记录需要特定的设备和技术,在进行测量时,研究者有时很难分离各种混淆因素对所记录的生理指标的影响。

情境化是人机交互研究中的新热点

情感计算研究的内容包括三维空间中动态情感信息的实时获取与建模,基于多模态和动态时序特征的情感识别与理解,及其信息融合的理论与方法,情感的自动生成理论及面向多模态的情感表达,以及基于生理和行为特征的大规模动态情感数据资源库的建立等。

欧洲和美国的各大信息技术实验室正加紧进行情感计算系统的研究。剑桥大学、麻省理工学院、飞利浦公司等通过实施“环境智能”、“环境识别”、“智能家庭”等科研项目来开辟这一领域。例如,麻省理工学院媒体实验室的情感计算小组研制的情感计算系统,通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据,然后由一个“情感助理”来调节程序以识别人的情感。如果你对电视讲座的一段内容表现出困惑,情感助理会重放该片段或者给予解释。麻省理工学院“氧工程”的研究人员和比利时imec的一个工作小组认为,开发出一种整合各种应用技术的“瑞士军刀”可能是提供移动情感计算服务的关键。而目前国内的情感计算研究重点在于,通过各种传感器获取由人的情感所引起的生理及行为特征信号,建立“情感模型”,从而创建个人情感计算系统。研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、自然人机界面、情感机器人等。

情境化是人机交互研究中的新热点。自然和谐的智能化的人机界面的沟通能力特征包括:⑴自然沟通:能看,能听,能说,能触摸;⑵主动沟通:有预期,会提问,并及时调整;⑶有效沟通:对情境的变化敏感,理解用户的情绪和意图,对不同用户、不同环境、不同任务给予不同反馈和支持。而实现这些特征在很大程度上依赖于心理科学和认知科学对人的智能和情感研究所取得的新进展。我们需要知道人是如何感知环境的,人会产生什么样的情感和意图,人如何做出恰当的反应,从而帮助计算机正确感知环境,理解用户的情感和意图,并做出合适反应。因此,人机界面的“智能”不仅应有高的认知智力,也应有高的情绪智力,从而有效地解决人机交互中的情境感知问题、情感与意图的产生与理解问题,以及反应应对问题。

显然,情感交流是一个复杂的过程,不仅受时间、地点、环境、人物对象和经历的影响,而且有表情、语言、动作或身体的接触。在人机交互中,计算机需要捕捉关键信息,觉察人的情感变化,形成预期,进行调整,并做出反应。例如,通过对不同类型的用户建模(例如,操作方式、表情特点、态度喜好、认知风格、知识背景等),以识别用户的情感状态,利用有效的线索选择合适的用户模型(例如,根据可能的用户模型主动提供相应有效信息的预期),并以适合当前类型用户的方式呈现信息(例如,呈现方式、操作方式、与知识背景有关的决策支持等);在对当前的操作做出即时反馈的同时,还要对情感变化背后的意图形成新的预期,并激活相应的数据库,及时主动地提供用户需要的新信息。

电脑能像人一样具有情感

计算智能领域“百花齐放”,进化计算、遗传算法、混沌理论、粗集理论、情感计算、免疫计算等研究方兴未艾。不少人都翘首以盼,计算机会变得越来越聪明,在不久的将来,电脑就能像人一样具有情感,与人进行自然、亲切和生动的智能交互。

情感计算是一个高度综合化的技术领域。通过计算科学与心理科学、认知科学的结合,研究人与人交互、人与计算机交互过程中的情感特点,设计具有情感反馈的人机交互环境,将有可能实现人与计算机的情感交互。迄今为止,有关研究已在人脸表情、姿态分析、语音的情感识别和表达方面取得了一定的进展。情感计算研究将不断加深对人的情感状态和机制的理解,并提高人机界面的和谐性,即提高计算机感知情境、理解人的情感和意图并做出适当反应的能力。

目前情感计算研究面临的挑战仍是多方面的:⑴情感信息的获取与建模,例如,细致和准确的情感信息获取、描述及参数化建模,海量的情感数据资源库,多特征融合的情感计算理论模型;⑵情感识别与理解,例如,多模态的情感识别和理解;⑶情感表达,例如,多模态的情感表达(图像、语音、生理特征等),自然场景对生理和行为特征的影响;⑷自然和谐的人性化和智能化的人机交互的实现,例如,情感计算系统需要将大量广泛分布的数据整合,然后再以个性化的方式呈现给每个用户。

情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应,进而帮助使用者获得高效而又亲切的感觉,并有效减轻人们使用电脑的挫败感,甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性,使经验人性化,使计算机作为媒介进行学习的功能达到最佳化。在信息检索中,通过情感分析的概念解析功能,可以提高智能信息检索的精度和效率。在电子商务领域,在设计购物网站和股票交易网站等时能充分利用人的情感因素的作用,以改变客流量。多模式的情感交互技术能构筑更贴近人们生活的智能空间或虚拟场景,而机器人、智能玩具、游戏等产业则能构筑出更加拟人化的风格和更加逼真的场景。

展望现代科技的潜力,我们预期在未来的世界中将可能会充满运作良好、操作容易、甚至具有情感特点的计算机。

发音语音学的研究成果比声学语音学和听觉语音学更多的原因如下:

1、发音语音学研究的历史更悠久:发音语音学是语音学的一个基本分支,早在古希腊时期就开始了对语音的研究,而声学语音学和听觉语音学相对较晚。

2、发音语音学研究对象更明确:发音语音学研究的是人类发音的方式和规律,研究对象明确,可以通过实验和观察等方法获取丰富的数据。

3、发音语音学研究具有实用价值:发音语音学的研究结果可以应用于语音识别、语音合成、外语教学等领域,在实际应用中具有较高的价值。

欢迎分享,转载请注明来源:浪漫分享网

原文地址:https://hunlipic.com/qinggan/741338.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-07-08
下一篇2023-07-08

发表评论

登录后才能评论

评论列表(0条)

    保存