基于主题的教育信息定向采集系统
| 摘要 | 第1-4页 |
| ABSTRACT | 第4-7页 |
| 1 引言 | 第7-11页 |
| ·研究背景 | 第7页 |
| ·国内外发展现状 | 第7-9页 |
| ·论文主要内容及论文结构 | 第9-11页 |
| 2 Web信息采集技术简介 | 第11-24页 |
| ·Web信息采集的概念及特点 | 第13-15页 |
| ·Web信息采集的定义 | 第13-14页 |
| ·与人工采集方式的流程对比 | 第14-15页 |
| ·Web信息采集技术概述 | 第15-18页 |
| ·Web信息采集的基本结构 | 第15页 |
| ·Web信息采集器的工作过程 | 第15-17页 |
| ·Web信息采集面临的问题 | 第17-18页 |
| ·Web信息采集的分类及方向 | 第18-24页 |
| ·Web信息采集的发展 | 第18-19页 |
| ·Web信息采集的分类 | 第19-23页 |
| ·Web信息采集的方向 | 第23-24页 |
| 3 基于主题的web信息采集研究 | 第24-36页 |
| ·基于主题的Web信息采集分类 | 第24-25页 |
| ·广泛主题和具体主题Web信息采集 | 第24页 |
| ·固定主题和可变主题Web信息采集 | 第24-25页 |
| ·主题在Web页面的分布特征 | 第25-26页 |
| ·Hub特性 | 第25页 |
| ·关联特性 | 第25页 |
| ·站点主题特性 | 第25-26页 |
| ·Tunnel特性 | 第26页 |
| ·基于主题的Web信息采集主要技术 | 第26-36页 |
| ·种子页面生成技术 | 第26-27页 |
| ·主题表示技术 | 第27-28页 |
| ·相关度计算策略 | 第28-33页 |
| ·主题爬行策略 | 第33-34页 |
| ·结束爬行策略 | 第34-36页 |
| 4 系统分析与设计 | 第36-54页 |
| ·总体设计 | 第36-40页 |
| ·系统结构 | 第36-37页 |
| ·运行流程 | 第37-38页 |
| ·设计模型 | 第38-40页 |
| ·主要功能模块设计 | 第40-54页 |
| ·多线程Spider采集 | 第40-45页 |
| ·页面解析 | 第45-47页 |
| ·主题相关性判别 | 第47-51页 |
| ·网页去重 | 第51-52页 |
| ·主题词典选择 | 第52-53页 |
| ·定向采集起点 | 第53-54页 |
| 5 系统实现 | 第54-72页 |
| ·系统功能模块图 | 第54-55页 |
| ·功能实现及演示 | 第55-62页 |
| ·系统启动过程 | 第55-56页 |
| ·主题字典维护 | 第56-57页 |
| ·任务分类管理 | 第57页 |
| ·采集任务设置 | 第57-58页 |
| ·采集网址设置 | 第58-59页 |
| ·采集规则设置 | 第59-60页 |
| ·高级设置 | 第60-61页 |
| ·任务执行计划设置 | 第61-62页 |
| ·部分模块代码 | 第62-72页 |
| ·自动获取网址代码 | 第62-63页 |
| ·采集网页数据代码 | 第63-69页 |
| ·启动采集任务代码 | 第69-72页 |
| 6 总结与展望 | 第72-75页 |
| ·系统创新点设计与实现 | 第72页 |
| ·遇到的问题和解决方法 | 第72-73页 |
| ·展望未来 | 第73-75页 |
| 致谢 | 第75-76页 |
| 参考文献 | 第76-77页 |
