综合字典和统计分析的中文分词系统的研究与实现
| 摘要 | 第1-5页 |
| Abstract | 第5-8页 |
| 第1章 绪论 | 第8-14页 |
| ·引言 | 第8页 |
| ·中文分词发展现状及特点 | 第8-13页 |
| ·中文分词技术的发展 | 第9-12页 |
| ·中文分词系统的评价标准 | 第12-13页 |
| ·论文的结构 | 第13-14页 |
| 第2章 中文分词基本算法研究 | 第14-27页 |
| ·中文分词的基本算法 | 第14-23页 |
| ·机械分词算法 | 第14-18页 |
| ·基于统计的分词算法 | 第18-22页 |
| ·基于理解的分词算法 | 第22页 |
| ·词性标注与角色标注 | 第22-23页 |
| ·中文分词技术面临的问题 | 第23-27页 |
| ·歧义词的处理 | 第24-25页 |
| ·未登录词的处理 | 第25-27页 |
| 第3章 基于字典与统计的分词算法的设计 | 第27-39页 |
| ·本系统要解决的问题 | 第27页 |
| ·系统特点概述 | 第27-28页 |
| ·专用性 | 第28页 |
| ·精确性 | 第28页 |
| ·分词效率 | 第28页 |
| ·分词词典的设计 | 第28-31页 |
| ·基于哈希的分词词典机制 | 第29-31页 |
| ·分词词典的整体构造 | 第29页 |
| ·核心词典的详细设计 | 第29-31页 |
| ·临时词典的详细设计 | 第31页 |
| ·统计策略的设计 | 第31-35页 |
| ·统计原理的选择与实现 | 第32-34页 |
| ·训练文本的选择 | 第34-35页 |
| ·机械分词的应用 | 第35-36页 |
| ·歧义和未登录词问题的解决 | 第36-39页 |
| 第4章 基于字典与统计的分词算法流程及系统设计 | 第39-46页 |
| ·算法流程描述 | 第39-40页 |
| ·算法具体设计 | 第40-46页 |
| ·分词词典的加载 | 第40-42页 |
| ·核心词典的加载 | 第40-41页 |
| ·临时词典的加载 | 第41-42页 |
| ·待分字符串的预处理 | 第42-43页 |
| ·词频信息统计 | 第43-44页 |
| ·逆向最大匹配 | 第44-46页 |
| 第5章 实验结果分析 | 第46-54页 |
| ·系统评价指标介绍 | 第46页 |
| ·系统初始化后的性能测试 | 第46-48页 |
| ·系统综合性能测试一 | 第47页 |
| ·歧义和未登录词处理能力测试一 | 第47-48页 |
| ·系统统计学习后的性能测试 | 第48-51页 |
| ·系统综合性能测试二 | 第49-50页 |
| ·歧义和未登录词处理能力测试二 | 第50-51页 |
| ·分词算法的比较 | 第51-52页 |
| ·机械分词算法的比较 | 第51页 |
| ·统计策略的比较 | 第51-52页 |
| ·分词系统测试实例展示 | 第52-54页 |
| 第6章 系统的总结与展望 | 第54-55页 |
| ·论文总结 | 第54页 |
| ·中文分词系统的展望 | 第54-55页 |
| 参考文献 | 第55-57页 |
| 致谢 | 第57-58页 |
| 攻读硕士学位期间发表的论文 | 第58页 |
