| 摘要 | 第1-4页 |
| ABSTRACT | 第4-9页 |
| 1 绪论 | 第9-13页 |
| ·本文的研究目的与意义 | 第9页 |
| ·相关的基础理论和研究背景 | 第9-12页 |
| ·自然语言理解 | 第9-10页 |
| ·古籍信息化的研究现状 | 第10-12页 |
| ·本文的结构和主要内容 | 第12-13页 |
| 2 中文命名实体的识别及其方法 | 第13-19页 |
| ·中文命名实体识别的概念和意义 | 第13页 |
| ·命名实体识别的方法 | 第13-19页 |
| ·基于规则的方法 | 第13-14页 |
| ·基于统计的方法 | 第14-19页 |
| ·问题的形式化描述 | 第14-15页 |
| ·隐马尔可夫模型 | 第15-16页 |
| ·最大熵分类模型 | 第16-17页 |
| ·条件概率模型 | 第17-19页 |
| 3 CRF 理论及其在命名实体识别(NER)上的应用 | 第19-23页 |
| ·CRF 模型 | 第19-20页 |
| ·CRF 的定义 | 第19页 |
| ·模型的数学表示 | 第19-20页 |
| ·基于 CRF 模型的命名实体识别 | 第20-23页 |
| ·标注粒度和体系的分析选择 | 第20-21页 |
| ·基本特征函数集 | 第21-23页 |
| ·特征函数的表示 | 第21-22页 |
| ·内部特征 | 第22-23页 |
| 4 基于CRF模型的古籍地名自动识别——以《三国演义》为例 | 第23-42页 |
| ·系统结构 | 第23-24页 |
| ·系统框架 | 第23页 |
| ·模块说明 | 第23-24页 |
| ·实验条件 | 第24页 |
| ·实验设计 | 第24-42页 |
| ·训练语料的预处理和模型生成 | 第24-31页 |
| (1) 原始语料“三国.txt”的校对、清理,得到“三国.txt” | 第24-25页 |
| (2) 人工地名 | 第25-26页 |
| (3) 去除行号、章回标记并改正文本中的英文标点符号 | 第26-27页 |
| (4) 用orig2crf 函数对“sg.txt”进行BIEO 标注,得到训练语料“train.txt ” | 第27-29页 |
| (5) 用check_format 函数对训练语料“train.txt”进行格式检验 | 第29-30页 |
| (6) 用CRFModel.cpp 函数让CRF 对“train.txt”进行模型训练,生成Model | 第30-31页 |
| ·测试语料的预处理和模型标注以及实验评测 | 第31-40页 |
| (7) 用remove_tags 函数将“sg.txt”中的/ns 标记去掉,生成测试文件“test.txt” | 第31-33页 |
| (8) 再用norm2crftest 函数把测试文件转成测试语料“test.txt.test” | 第33-34页 |
| (9) 用model 文件对“test.txt.test”进行地名标注,得到“test.txt.crf” | 第34页 |
| (10) 用 crfseg2norm函数把“test.txt.crf”中的BIEO 标注转变成/ns 标记,得到“result.txt” | 第34-36页 |
| (11) 用评测程序将“sg.txt”和“result.txt”进行对比,得到准确率 | 第36-40页 |
| ·最终的地名自动识别数据表的生成 | 第40-42页 |
| (12) 用“把229 行注释掉的Format.cpp”把“result.txt”中含/ns 的地名提取出来 | 第40-41页 |
| (13) 用EditPlus 将“result”中的空格和重复的地名去掉,经过整理分栏得到最后我们想要的结果——《三国演义》地名自动识别数据表 | 第41-42页 |
| 5 结束语 | 第42-44页 |
| ·总结 | 第42页 |
| ·展望 | 第42-44页 |
| 附录:《三国演义》地名自动识别数据表 | 第44-50页 |
| 参考文献 | 第50-54页 |
| 致谢 | 第54-55页 |
| 攻读学位期间发表的学术论文目录 | 第55页 |