中文摘要 | 第1-5页 |
英文摘要 | 第5-9页 |
1 绪论 | 第9-15页 |
·问题的提出及研究意义 | 第9-10页 |
·问题的提出 | 第9-10页 |
·研究的意义 | 第10页 |
·国内外研究现状 | 第10-11页 |
·本文研究的目的和研究内容 | 第11页 |
·本文研究的目的 | 第11页 |
·本文研究的主要内容 | 第11页 |
·本文所使用的技术 | 第11-14页 |
·Microsoft .Net4 | 第11-12页 |
·C#开发语言 | 第12-14页 |
·本文的主要内容 | 第14-15页 |
2 统计语言模型及其平滑技术 | 第15-27页 |
·概率论基础 | 第15-17页 |
·基本概率 | 第15页 |
·最大似然估计(Maximum Likelihood Estimation) | 第15-16页 |
·熵(Entropy) | 第16页 |
·困惑度(Perplexity) | 第16页 |
·互信息(Mutual information) | 第16-17页 |
·统计语言模型 | 第17-20页 |
·语言模型 | 第17-18页 |
·N-gram 模型 | 第18-19页 |
·统计语言模型的评价标准 | 第19页 |
·统计语言模型的数据稀疏问题 | 第19-20页 |
·现有的平滑技术 | 第20-26页 |
·Good-Turing 估计 | 第20-21页 |
·加法平滑技术 | 第21页 |
·回退平滑技术 | 第21-23页 |
·插值平滑技术 | 第23-26页 |
·本章小结 | 第26-27页 |
3 统计语言模型的建立 | 第27-34页 |
·提出问题 | 第27-28页 |
·建立模型 | 第28-33页 |
·建立一元模型 | 第28页 |
·二元模型的建立 | 第28-33页 |
·三元模型及N 元模型的建立 | 第33页 |
·结论 | 第33页 |
·本章小结 | 第33-34页 |
4 基于互信息的统计语言模型平滑技术 | 第34-42页 |
·基本思想 | 第34页 |
·归一性问题 | 第34-35页 |
·概率分布问题 | 第35-36页 |
·基于互信息的平滑技术 | 第36-40页 |
·基本公式 | 第36-37页 |
·约束条件 | 第37-39页 |
·系数的选取原则-极小化困惑度 | 第39-40页 |
·应用及推广 | 第40-41页 |
·本章小结 | 第41-42页 |
5 实验方法及结果分析 | 第42-49页 |
·实验方法 | 第42-44页 |
·数据 | 第42页 |
·语料处理 | 第42-43页 |
·系数的确定 | 第43-44页 |
·实验结果 | 第44-46页 |
·现有平滑技术 | 第44-45页 |
·基于互信息平滑的最小困惑度 | 第45页 |
·指定系数值下模型的困惑度 | 第45-46页 |
·中文自动分词系统 | 第46-47页 |
·中文自动分词系统核心功能模块 | 第46-47页 |
·中文自动分词系统流程图 | 第47页 |
·本章小结 | 第47-49页 |
6 结论与展望 | 第49-50页 |
·主要结论 | 第49页 |
·后续研究工作的展望 | 第49-50页 |
致谢 | 第50-51页 |
参考文献 | 第51-53页 |
附录 作者在攻读博士学位期间的其它工作 | 第53-54页 |
独创性声明 | 第54页 |
学位论文版权使用授权书 | 第54页 |