深度学习驱动的基于智能手表的手语翻译系统
| 摘要 | 第5-6页 |
| ABSTRACT | 第6页 |
| 第1章 绪论 | 第14-22页 |
| 1.1 选题背景及研究意义 | 第14-15页 |
| 1.2 研究现状 | 第15-18页 |
| 1.2.1 基于传感手套的手语识别系统 | 第15页 |
| 1.2.2 基于视频的手语识别系统 | 第15-16页 |
| 1.2.3 基于深度传感器的手语识别 | 第16-17页 |
| 1.2.4 基于肌电传感器的手语识别系统 | 第17-18页 |
| 1.2.5 基于智能手表的手势及姿态识别 | 第18页 |
| 1.3 主要研究内容 | 第18-20页 |
| 1.4 论文组织结构 | 第20-22页 |
| 第2章 相关背景介绍 | 第22-30页 |
| 2.1 手语简介 | 第22-24页 |
| 2.1.1 独立手势 | 第22-23页 |
| 2.1.2 句子级别的手语 | 第23-24页 |
| 2.2 循环神经网络 | 第24-27页 |
| 2.2.1 双向LSTM | 第25页 |
| 2.2.2 SRU | 第25-27页 |
| 2.3 CTC | 第27页 |
| 2.4 本章小结 | 第27-30页 |
| 第3章 基于深度学习的手语翻译系统设计与实现 | 第30-40页 |
| 3.1 系统概述 | 第30-31页 |
| 3.1.1 模型训练子系统 | 第31页 |
| 3.1.2 推断子系统 | 第31页 |
| 3.2 动作检测和粗粒度分段 | 第31-33页 |
| 3.3 预处理 | 第33-34页 |
| 3.4 高阶特征提取 | 第34-36页 |
| 3.5 深度学习模型 | 第36-39页 |
| 3.5.1 手语字母识别 | 第36-38页 |
| 3.5.2 手语语句识别 | 第38-39页 |
| 3.6 本章小结 | 第39-40页 |
| 第4章 模型训练及参数调优 | 第40-50页 |
| 4.1 实验环境 | 第40页 |
| 4.1.1 硬件配置 | 第40页 |
| 4.1.2 软件配置 | 第40页 |
| 4.2 数据集 | 第40-44页 |
| 4.3 评估指标 | 第44-45页 |
| 4.4 预处理 | 第45页 |
| 4.5 模型训练 | 第45-48页 |
| 4.5.1 数据集对模型性能的影响 | 第45-47页 |
| 4.5.2 模型参数选取 | 第47页 |
| 4.5.3 SRU性能验证 | 第47-48页 |
| 4.5.4 过拟合与收敛性 | 第48页 |
| 4.6 本章小结 | 第48-50页 |
| 第5章 模型性能评估 | 第50-62页 |
| 5.1 手指动作识别性能 | 第50-51页 |
| 5.2 单独动作识别精度 | 第51-53页 |
| 5.2.1 检出率和可信度 | 第51页 |
| 5.2.2 替换词分析 | 第51-52页 |
| 5.2.3 双手手势识别 | 第52-53页 |
| 5.3 语句级别识别精度 | 第53-55页 |
| 5.3.1 分段效果 | 第54-55页 |
| 5.4 用户无关性 | 第55页 |
| 5.5 系统鲁棒性分析 | 第55-57页 |
| 5.5.1 系统对不同应用场景的鲁棒性 | 第55-56页 |
| 5.5.2 系统对不同采集设备的鲁棒性 | 第56-57页 |
| 5.5.3 系统对人体移动的的鲁棒性 | 第57页 |
| 5.6 处理时间及耗电量评估 | 第57-58页 |
| 5.7 与基于DTW的方法的对比 | 第58-59页 |
| 5.8 本章小结 | 第59-62页 |
| 第6章 总结与展望 | 第62-66页 |
| 6.1 本文工作 | 第62-63页 |
| 6.2 未来展望 | 第63-66页 |
| 参考文献 | 第66-72页 |
| 致谢 | 第72-74页 |
| 在读期间发表的学术论文与取得的研究成果 | 第74页 |
