基于Lucene的中文分词器设计与实现
| 摘要 | 第5-7页 |
| Abstract | 第7-8页 |
| 第1章 绪论 | 第11-16页 |
| 1.1 课题研究背景及意义 | 第11-12页 |
| 1.2 国内外研究现状 | 第12-14页 |
| 1.3 论文的主要研究内容 | 第14-15页 |
| 1.4 论文的结构安排 | 第15-16页 |
| 第2章 LUCENE理论基础知识 | 第16-24页 |
| 2.1 LUCENE概述 | 第16-17页 |
| 2.2 LUCENE工作原理分析 | 第17-20页 |
| 2.2.1 Lucene系统结构 | 第17-18页 |
| 2.2.2 Lucene数据流分析 | 第18-20页 |
| 2.3 LUCENE分词原理 | 第20-23页 |
| 2.4 本章小结 | 第23-24页 |
| 第3章 中文分词理论基础知识 | 第24-36页 |
| 3.1 中文分词算法 | 第24-27页 |
| 3.1.1 基于字符串匹配的分词算法 | 第24-25页 |
| 3.1.2 基于理解的分词算法 | 第25页 |
| 3.1.3 基于统计的分词算法 | 第25-26页 |
| 3.1.4 三种分词算法优劣对比 | 第26-27页 |
| 3.2 词典机制 | 第27-32页 |
| 3.2.1 mmseg4j词典机制 | 第27-30页 |
| 3.2.2 imdict词典机制 | 第30-32页 |
| 3.3 分词歧义问题 | 第32-34页 |
| 3.3.1 歧义字段类别 | 第32-33页 |
| 3.3.2 歧义消除技术 | 第33-34页 |
| 3.4 本章小结 | 第34-36页 |
| 第4章 中文分词模块的设计与实现 | 第36-65页 |
| 4.1 中文分词模块框架 | 第36-37页 |
| 4.2 词典机制的设计与实现 | 第37-44页 |
| 4.2.1 MACTIT词典机制的设计 | 第37-42页 |
| 4.2.2 MACTIT词典机制的实现 | 第42-44页 |
| 4.3 分词机制的设计 | 第44-56页 |
| 4.3.1 分词预处理 | 第44-45页 |
| 4.3.2 中文子分词器算法的设计 | 第45-47页 |
| 4.3.3 中文数量词子分词器的设计 | 第47-49页 |
| 4.3.4 英文数字子分词器的设计 | 第49-50页 |
| 4.3.5 分词歧义处理 | 第50-56页 |
| 4.3.6 分词结果处理 | 第56页 |
| 4.4 分词机制的实现 | 第56-60页 |
| 4.5 MYSAMEANALYZER分词器的实现 | 第60-64页 |
| 4.6 本章小结 | 第64-65页 |
| 第5章 实验结果与性能测试 | 第65-75页 |
| 5.1 词典机制的性能测试 | 第65-68页 |
| 5.1.1 词典机制的空间开销 | 第65-66页 |
| 5.1.2 词典机制的时间开销 | 第66-68页 |
| 5.2 分词模块的性能测试 | 第68-73页 |
| 5.2.1 分词速度测试 | 第68-70页 |
| 5.2.2 分词精度测试 | 第70-72页 |
| 5.2.3 分词器功能完备性和易扩充性测试 | 第72-73页 |
| 5.3 本章小结 | 第73-75页 |
| 结论 | 第75-76页 |
| 参考文献 | 第76-80页 |
| 攻读硕士期间发表的论文和取得的科研成果 | 第80-81页 |
| 致谢 | 第81页 |
