身体缺陷给残障人在生活、学习、工作上所造成的各种困难。目前几乎所有的信息类产品以及信息服务,没有考虑到残疾人的应用需求,这使得残疾人无法像普通人那样享受信息技术带来的便利,因而面临在社会生活中被边缘化的危险。如不采取有效的措施,如此庞大的残疾人群在信息化社会中的生存和发展能力将会受到进一步制约,无法真正融入到现代信息社会中。显然,只有采用科技手段来适应残疾人的使用习惯,从根本上消除残疾人因残疾而导致的获取信息障碍,才是解决这一问题的有效途径。本专著主要研究将现代计算机技术应用于听障人群无障碍交流、教育、生活等方面。从0-12岁基于可视语音、三维会话头像、虚拟仿真等技术听障儿童的言语康复训练,6-22岁听障生融合教育课堂辅助系统,到基于群智计算的听障人群-健听人群无障碍交流平台,研究现代信息技术解决听障人一生无障碍需求。
第0篇基础篇
章绪论
1．1基于多模态人机交互的听障者无障碍技术研究背景
1．1．1社会背景
1．1．2应用背景
1．2多模态人机交互技术研究现状
1．2．1多模态人机交互技术国外发展现状
1．2．2多模态人机交互技术国内发展现状
1．3无障碍技术研究现状
1．3．1言语康复无障碍技术研究现状
1．3．2融合教育无障碍技术研究现状
1．3．3生活无障碍技术研究现状
1．4本书主要研究内容及章节安排
参考文献
篇基于多模态人机交互的言语康复无障碍技术研究
第2章基于可视语音的言语康复无障碍方法研究
2．1基于三维扫描数据的三维可视语音人脸建模
2．2三维扫描数据获取及预处理
2．2．1三维激光扫描技术的基本原理
2．2．2人脸点云数据获取的采集环境设置
2．3三维点云数据预处理
2．4三维扫描数据与通用人脸模型的匹配
2．4．1人脸模型特征点提取
2．4．2人脸模型几何变形
2．4．3人脸模型纹理映射
2．5三维人脸动态特征提取
2．5．1系统框架
2．5．2基于人脸运动捕捉技术的面部及唇部信息提取
2．5．3面向听障儿童言语康复训练的人脸特征点标记排布方式
2．5．4人脸模型驱动方法研究
2．6基于汉语三维可视语音库的听障儿童发音康复方法
2．6．1汉语三维可视语音库建立
2．6．2基于汉语三维可视语音库的发音康复过程
2．7语音康复标准
2．8本章小结
参考文献
第3章基于不可视语音的多模态言语康复无障碍方法研究
3．1不可视语音概念
3．2人舌腭三维建模方法
3．2．1基于生理结构的三维舌部建模
3．2．2人舌肌肉模型的几何描述
3．2．3舌部模型控制
3．3基于动态腭位的舌部发音运动
3．3．1基于动态腭位的舌部数据采集
3．3．2建立EPG对应音素的发音样本
3．4听障儿童言语康复中基于动态腭位的人舌模型驱动方法研究
3．4．1面向听障儿童多模态言语康复的动态腭位样本数据库的建立
3．4．2改进的腭位参数描述
3．4．3参数设置
3．4．4舌部模型驱动动作合成
3．4．5实验及结果分析
3．5本章小结
参考文献
第4章基于多模态人机交互的言语康复呼吸训练无障碍技术研究
4．1多模态呼吸训练方法
4．1．1传统的呼吸训练方法
4．1．2PC端和移动智能终端训练方法
4．1．3计算流体力学训练方法
4．1．4VR沉浸式呼吸训练方法
……
第2篇基于多模太人机交互听障学生融合教育无障碍支撑体系
第3篇基于多模态人机交互的听障者生活无障碍技术研究
