| 摘要 | 第1-4页 |
| ABSTRACT | 第4-8页 |
| 1 引言 | 第8-12页 |
| ·分词简介 | 第8-9页 |
| ·中英文混合分词 | 第9页 |
| ·分词的研究现状 | 第9-11页 |
| ·本文主要的工作及安排 | 第11-12页 |
| 2 分词相关理论和技术 | 第12-25页 |
| ·分词的基本流程 | 第12页 |
| ·分词的算法 | 第12-15页 |
| ·基于字符串匹配的分词算法 | 第12-13页 |
| ·基于统计的分词算法 | 第13-14页 |
| ·基于规则的分词算法 | 第14-15页 |
| ·基于理解的分词算法 | 第15页 |
| ·分词的关键问题及解决方法 | 第15-22页 |
| ·歧义处理 | 第15-19页 |
| ·未登录词识别 | 第19-21页 |
| ·分词词典 | 第21-22页 |
| ·分词系统的评价 | 第22-24页 |
| ·中文分词系统的评价指标 | 第22-23页 |
| ·中英文混合分词系统的评价指标 | 第23-24页 |
| ·本章小结 | 第24-25页 |
| 3 词典机制及分词算法的实现及选择 | 第25-48页 |
| ·词典机制的实现及选择 | 第25-36页 |
| ·基于整词二分的词典机制 | 第26-28页 |
| ·基于TRIE 索引树的词典机制 | 第28-30页 |
| ·基于逐字二分的词典机制 | 第30-31页 |
| ·双字哈希索引词典机制 | 第31-34页 |
| ·词典机制的实验与分析 | 第34-36页 |
| ·词典机制的选择 | 第36页 |
| ·分词算法的实现 | 第36-39页 |
| ·单字切分算法 | 第36-37页 |
| ·双字切分算法 | 第37-38页 |
| ·正向最大匹配算法 | 第38-39页 |
| ·逆向最大匹配算法 | 第39页 |
| ·算法测试、评价及分析 | 第39-47页 |
| ·测试样例1 | 第39-43页 |
| ·测试样例2 | 第43-45页 |
| ·测试样例3 | 第45-47页 |
| ·中英文混合分词模型设计方案的选择 | 第47页 |
| ·本章小结 | 第47-48页 |
| 4 基于字符串匹配的中英文混合分词模型CE_MixSeg | 第48-80页 |
| ·模型基本结构 | 第48-49页 |
| ·文件处理模块 | 第49-51页 |
| ·词典模块 | 第51-55页 |
| ·索引数据库模块 | 第55-56页 |
| ·分词模块 | 第56-78页 |
| ·中英文混合分词策略 | 第57-58页 |
| ·改进的逆向最大匹配算法 | 第58-61页 |
| ·歧义处理及实验 | 第61-68页 |
| ·中文姓名的识别及实验 | 第68-78页 |
| ·综合实验及模型评价 | 第78-79页 |
| ·本章小结 | 第79-80页 |
| 5 总结 | 第80-82页 |
| ·全文总结 | 第80页 |
| ·后续研究工作 | 第80-82页 |
| 致谢 | 第82-83页 |
| 参考文献 | 第83-85页 |