摘要 | 第5-6页 |
Abstract | 第6-7页 |
第1章 绪论 | 第12-17页 |
1.1 课题研究背景与意义 | 第12-13页 |
1.2 研究现状 | 第13-15页 |
1.3 本文的主要工作 | 第15页 |
1.4 本文的组织 | 第15-17页 |
第2章 中文分词方法简介 | 第17-22页 |
2.1 中文分词的难点 | 第17-19页 |
2.1.1 分词规范 | 第17页 |
2.1.2 歧义切分 | 第17-18页 |
2.1.3 未登陆词 | 第18页 |
2.1.4 分词效果评测 | 第18-19页 |
2.2 中文分词方法 | 第19-21页 |
2.2.1 基于规则的分词方法 | 第19-20页 |
2.2.2 基于语义理解的分词方法 | 第20页 |
2.2.3 基于统计学习的分词方法 | 第20-21页 |
2.3 本章小结 | 第21-22页 |
第3章 基于Hadoop的CRFs模型并行优化算法 | 第22-43页 |
3.1 序列标注问题 | 第22页 |
3.2 隐马尔可夫模型 | 第22-23页 |
3.2.1 隐马尔可夫模型的概念 | 第22页 |
3.2.2 隐马尔可夫模型在序列标注问题中的应用 | 第22-23页 |
3.3 最大熵模型 | 第23-25页 |
3.3.1 最大熵原理 | 第23-24页 |
3.3.2 最大熵模型在序列标注问题中的应用 | 第24-25页 |
3.4 条件随机场模型 | 第25-30页 |
3.4.1 生成模型与判别模型 | 第25页 |
3.4.2 概率无向图模型 | 第25-26页 |
3.4.3 条件随机场的概念 | 第26-27页 |
3.4.4 条件随机场的训练 | 第27-29页 |
3.4.5 条件随机场的预测 | 第29-30页 |
3.5 Hadoop简介 | 第30-36页 |
3.5.1 Hadoop分布式文件系统 | 第31-33页 |
3.5.2 MapReduce编程模型简介 | 第33-36页 |
3.6 条件随机场模型算法优化 | 第36-42页 |
3.6.1 L-BFGS算法 | 第36-37页 |
3.6.2 维特比算法 | 第37-38页 |
3.6.3 并行L-BFGS算法 | 第38-41页 |
3.6.4 并行维特比算法 | 第41-42页 |
3.7 本章小结 | 第42-43页 |
第4章 基于MapReduce的条件随机场分词方法 | 第43-54页 |
4.1 标记选择 | 第43-44页 |
4.2 特征模板 | 第44-45页 |
4.3 基于MapReduce的CRFs分词方法 | 第45-46页 |
4.4 实验与性能分析 | 第46-53页 |
4.4.1 实验环境 | 第46页 |
4.4.2 实验数据 | 第46-47页 |
4.4.3 不同标注集分词效果比较 | 第47-48页 |
4.4.4 不同特征模板分词效果比较 | 第48-50页 |
4.4.5 串行方法和并行方法分词效果比较 | 第50-51页 |
4.4.6 不同集群节点间分析效果比较 | 第51-53页 |
4.5 本章小结 | 第53-54页 |
结论 | 第54-57页 |
参考文献 | 第57-60页 |
致谢 | 第60-61页 |
附录A 攻读学位期间所发表的学术论文 | 第61-62页 |
附录B 攻读学位期间所参与的项目 | 第62页 |