第一章 前言 | 第1-16页 |
1.1 引言 | 第7页 |
1.2 论文选题背景及意义 | 第7-15页 |
1.2.1 中文分词应用领域 | 第8-10页 |
1.2.2 中文分词技术现有成果 | 第10-12页 |
1.2.3 关键问题 | 第12-13页 |
1.2.4 几种主要的分词方法 | 第13-15页 |
1.3 论文的结构和研究内容 | 第15-16页 |
第二章 基于HASH结构的机械统计分词方法 | 第16-29页 |
2.1 基于HASH结构的机械统计分词方法思想 | 第16-19页 |
2.1.1 基本思想概述 | 第16-18页 |
2.1.2 对中文分词技术的关键问题的解决 | 第18-19页 |
2.2 机械分词方法的研究和设计思想 | 第19-22页 |
2.2.1 传统的机械分词方法 | 第20页 |
2.2.2 改进的机械分词方法 | 第20-22页 |
2.3 统计分词的研究和设计思想 | 第22-25页 |
2.3.1 传统的统计分词方法 | 第22-23页 |
2.3.2 改进的统计分词方法 | 第23-24页 |
2.3.3 机械方法与统计方法的结合 | 第24-25页 |
2.4 基于HASH结构的分词词典 | 第25-29页 |
2.4.1 Hash思想 | 第26-27页 |
2.4.2 系统中Hash表的使用 | 第27-29页 |
第三章 基于HASH结构的机械统计分词系统的设计 | 第29-47页 |
3.1 系统概要设计 | 第29-32页 |
3.1.1 物理系统概貌 | 第29-30页 |
3.1.2 系统的逻辑模型 | 第30-32页 |
3.2 预处理模块的设计 | 第32-35页 |
3.2.1 预处理模块的程序流程图 | 第32-33页 |
3.2.2 非中文字符的识别标记 | 第33-35页 |
3.2.3 可删除字符集的使用 | 第35页 |
3.3 机械分词模块的设计 | 第35-38页 |
3.3.1 机械分词模块的流程 | 第35-37页 |
3.3.2 最大匹配长度的定义 | 第37-38页 |
3.3.3 候选词的选取 | 第38页 |
3.4 统计分词模块的设计 | 第38-41页 |
3.4.1 统计分词模块的流程 | 第39-40页 |
3.4.2 词频统计的实现 | 第40-41页 |
3.4.3 互信息的计算 | 第41页 |
3.5 系统中词典的设计 | 第41-43页 |
3.5.1 词典的生成 | 第41-43页 |
3.5.2 词典的结构 | 第43页 |
3.5.3 词典的加载和更新 | 第43页 |
3.6 功能界面的设计 | 第43-47页 |
3.6.1 实现的功能 | 第44-45页 |
3.6.2 人机界面 | 第45-47页 |
第四章 基于HASH结构的机械统计分词系统的实现及测试 | 第47-62页 |
4.1 基于HASH结构的机械统计分词系统的实现 | 第47-53页 |
4.1.1 运行平台和开发工具 | 第47-48页 |
4.1.2 Java中的Map机能 | 第48-50页 |
4.1.3 HashMap与Hashtable的性能比较 | 第50-51页 |
4.1.4 Word、PDF文档格式的转换 | 第51-53页 |
4.1.5 各模块的程序实现及UML图 | 第53页 |
4.2 基于HASH结构的机械统计分词系统的测试分析 | 第53-62页 |
4.2.1 分词系统的衡量要求 | 第54页 |
4.2.2 测试语料 | 第54-55页 |
4.2.3 运行效率分析 | 第55-59页 |
4.2.4 准确性分析 | 第59-62页 |
第五章 结论 | 第62-64页 |
参考文献 | 第64-68页 |
致谢 | 第68-69页 |
攻读学位期间主要的研究成果 | 第69页 |