一个基于词典与统计的中文分词算法
摘要 | 第1-5页 |
ABSTRACT | 第5-9页 |
第一章 绪论 | 第9-22页 |
·中文分词产生的必然性 | 第9-10页 |
·中文分词的发展概况及现状 | 第10-15页 |
·几个早期的自动分词系统 | 第10-11页 |
·中文分词系统的发展 | 第11-15页 |
·中文分词中的困难 | 第15-17页 |
·分词的规范 | 第15-16页 |
·分词面临的困难 | 第16-17页 |
·中文分词系统的目标 | 第17-18页 |
·准确性 | 第18页 |
·高效性 | 第18页 |
·通用性 | 第18页 |
·适用性 | 第18页 |
·中文分词算法的分类 | 第18-21页 |
·基于字符串匹配的分词方法 | 第18-20页 |
·基于理解的分词方法 | 第20页 |
·基于统计的分词方法 | 第20-21页 |
·论文组织结构 | 第21-22页 |
第二章 理论基础 | 第22-28页 |
·中文分词需要解决的关键问题 | 第22-23页 |
·歧义的识别 | 第22页 |
·未登录词的识别 | 第22-23页 |
·中文分词的基本方法 | 第23-25页 |
·基于词典的分词方法 | 第23页 |
·基于统计的分词方法 | 第23-25页 |
·歧义规则定义 | 第25-27页 |
·歧义采集方法 | 第27-28页 |
第三章 基于词典与统计的中文分词算法设计 | 第28-48页 |
·本文要解决的问题 | 第28页 |
·本文采用的分词方法 | 第28-45页 |
·待分析字符串的预处理 | 第29页 |
·基于词典的分词算法的改进 | 第29-44页 |
·基于词典和基于统计方法的有机结合 | 第44-45页 |
·歧义的分析和处理 | 第45-48页 |
·待分文本中歧义的确定 | 第45页 |
·本文的歧义消解算法 | 第45-48页 |
第四章 基于词典与统计的中文分词算法流程设计 | 第48-60页 |
·算法流程 | 第48-49页 |
·复合分词算法的具体设计 | 第49-60页 |
·算法详细设计流程 | 第49-50页 |
·词典加载 | 第50-53页 |
·待分析字符串断句 | 第53-55页 |
·正向最大匹配算法流程图 | 第55-56页 |
·逆向最大匹配算法流程图 | 第56-57页 |
·歧义处理算法 | 第57-60页 |
第五章 实验结果 | 第60-66页 |
·结果评价标准 | 第60页 |
·分词效果 | 第60-61页 |
·算法的比较 | 第61-66页 |
·改进的基于词典的算法和普通基于词典的算法的比较 | 第61-62页 |
·复合分词算法与改进的基于字典的算法的比较 | 第62-64页 |
·歧义和未登录词处理的比较 | 第64-66页 |
第六章 总结和展望 | 第66-68页 |
致谢 | 第68-69页 |
参考文献 | 第69-71页 |
攻硕期间取得的研究成果 | 第71页 |