面向自然语言处理的注意力机制研究
摘要 | 第5-6页 |
ABSTRACT | 第6-7页 |
第一章 绪论 | 第10-16页 |
1.1 课题研究背景及意义 | 第10-11页 |
1.1.1 论文研究背景 | 第10-11页 |
1.1.2 论文研究意义 | 第11页 |
1.2 国内外研究现状 | 第11-13页 |
1.3 主要研究内容 | 第13-15页 |
1.3.1 基于深度学习的中文分词研究 | 第13-14页 |
1.3.2 基于自注意力机制的中文分词神经网络 | 第14页 |
1.3.3 基于BERT预训练的中文分词神经网络 | 第14-15页 |
1.4 论文组织结构 | 第15-16页 |
第二章 中文分词技术研究综述 | 第16-26页 |
2.1 中文分词基础 | 第16-17页 |
2.1.1 中文分词的特殊性 | 第16页 |
2.1.2 统计学习分词基础 | 第16-17页 |
2.2 中文分词常用算法 | 第17-22页 |
2.2.1 词典匹配 | 第17-18页 |
2.2.2 概率图模型 | 第18-19页 |
2.2.3 深度学习模型 | 第19-22页 |
2.2.4 各类算法对比 | 第22页 |
2.3 中文分词常用语料数据集及工具 | 第22-23页 |
2.3.1 中文分词语料 | 第22-23页 |
2.3.2 中文分词工具及实验工具 | 第23页 |
2.4 中文分词系统性能估计 | 第23-25页 |
2.5 本章小结 | 第25-26页 |
第三章 基于自注意力机制的神经网络模型 | 第26-42页 |
3.1 基本原理 | 第26-27页 |
3.2 模型描述 | 第27-35页 |
3.2.1 嵌入层 | 第28-30页 |
3.2.2 特征层 | 第30-34页 |
3.2.3 CRF层 | 第34-35页 |
3.3 模型细节 | 第35-37页 |
3.3.1 层标准化 | 第35-36页 |
3.3.2 残差连接 | 第36页 |
3.3.3 Dropout | 第36-37页 |
3.4 实验设计 | 第37-38页 |
3.4.1 实验语料 | 第37页 |
3.4.2 实验设计及平台 | 第37-38页 |
3.4.3 评估标准 | 第38页 |
3.5 实验结果及分析 | 第38-41页 |
3.5.1 Baseline对比 | 第38-39页 |
3.5.2 State of the art对比 | 第39-41页 |
3.6 本章小结 | 第41-42页 |
第四章 基于BERT预训练的中文分词模型 | 第42-54页 |
4.1 分词性能的进一步提升 | 第42-43页 |
4.2 文本表示与预训练 | 第43-47页 |
4.2.1 文本表示 | 第43页 |
4.2.2 独热编码 | 第43-44页 |
4.2.3 静态词向量 | 第44-46页 |
4.2.4 动态词表示 | 第46-47页 |
4.3 基于BERT预训练的中文分词模型 | 第47-50页 |
4.3.1 BERT模型 | 第47-50页 |
4.3.2 整体模型 | 第50页 |
4.4 实验设计 | 第50-51页 |
4.5 实验结果及分析 | 第51-53页 |
4.6 本章小结 | 第53-54页 |
第五章 总结与展望 | 第54-56页 |
5.1 论文的工作总结 | 第54-55页 |
5.2 研究展望 | 第55-56页 |
参考文献 | 第56-60页 |
致谢 | 第60-61页 |
作者攻读学位期间发表的学术论文目录 | 第61页 |