基于Hadoop的OA期刊论文资源发现及采集方法
| 摘要 | 第1-6页 |
| Abstract | 第6-11页 |
| 第1章 绪论 | 第11-17页 |
| ·课题背景及意义 | 第11-12页 |
| ·国内外研究现状 | 第12-15页 |
| ·OA期刊资源整合的研究现状 | 第12-13页 |
| ·DeepWeb资源发现和采集的研究现状 | 第13-14页 |
| ·Web信息抽取技术的研究现状 | 第14-15页 |
| ·Hadoop技术的研究现状 | 第15页 |
| ·本文的主要研究内容 | 第15-16页 |
| ·本文组织结构 | 第16-17页 |
| 第2章 基础知识和相关技术 | 第17-25页 |
| ·HTML解析工具的介绍 | 第17-18页 |
| ·网络爬虫技术介绍 | 第18-19页 |
| ·Web信息抽取技术介绍 | 第19-20页 |
| ·决策树简介 | 第20-22页 |
| ·Hadoop简介 | 第22-24页 |
| ·HDFS | 第22-23页 |
| ·MapReduce编程模型 | 第23-24页 |
| ·本章小结 | 第24-25页 |
| 第3章 OA期刊论文资源采集系统的框架设计 | 第25-33页 |
| ·系统框架 | 第25-28页 |
| ·OA期刊论文资源采集系统框架 | 第25-26页 |
| ·系统总体模块 | 第26-27页 |
| ·系统总体流程 | 第27-28页 |
| ·系统中的主要模块 | 第28-32页 |
| ·分布式论文资源发现模块 | 第28-29页 |
| ·分布式论文资源采集模块 | 第29-31页 |
| ·更新检测模块 | 第31-32页 |
| ·本章小结 | 第32-33页 |
| 第4章 面向OA期刊站点的论文资源发现方法 | 第33-45页 |
| ·OA期刊论文资源发现流程 | 第33-34页 |
| ·OA期刊站点分类 | 第34-37页 |
| ·首页特征选取 | 第34-35页 |
| ·构建 C4.5 决策树 | 第35-36页 |
| ·基于决策树 C4.5 的OA期刊站点分类算法 | 第36-37页 |
| ·期刊站点内论文资源发现 | 第37-44页 |
| ·卷期目录型期刊站点内论文资源发现 | 第37-41页 |
| ·检索接口型期刊站点内论文资源发现 | 第41-44页 |
| ·本章小结 | 第44-45页 |
| 第5章 面向OA期刊站点的论文资源的采集方法 | 第45-55页 |
| ·OA期刊论文资源采集流程 | 第45-46页 |
| ·OA期刊论文资源采集 | 第46-51页 |
| ·论文信息资源库文件解析 | 第46-48页 |
| ·pdf论文采集 | 第48-51页 |
| ·pdf小文件处理 | 第51-52页 |
| ·期刊站点的更新检测 | 第52-54页 |
| ·更新检测的时间间隔的判定 | 第53页 |
| ·更新检测判定 | 第53-54页 |
| ·本章小结 | 第54-55页 |
| 第6章 系统实现与实验分析 | 第55-72页 |
| ·环境搭建 | 第55-57页 |
| ·Hadoop平台搭建 | 第55-56页 |
| ·Hadoop环境配置 | 第56-57页 |
| ·系统主要功能模块的实现 | 第57-66页 |
| ·分布式论文资源发现模块实现 | 第58-63页 |
| ·分布式论文资源采集模块实现 | 第63-66页 |
| ·论文资源发现实验与分析 | 第66-68页 |
| ·实验数据及其评价标准 | 第66-67页 |
| ·OA 期刊站点分类实验 | 第67-68页 |
| ·OA 期刊论文资源发现算法实验 | 第68页 |
| ·论文资源采集实验与分析 | 第68-71页 |
| ·评价标准 | 第68-69页 |
| ·OA 期刊论文资源采集算法实验 | 第69-70页 |
| ·单机环境和集群环境下采集效率的对比 | 第70-71页 |
| ·本章小结 | 第71-72页 |
| 结论 | 第72-74页 |
| 参考文献 | 第74-77页 |
| 攻读硕士学位期间承担的科研任务与主要成果 | 第77-78页 |
| 致谢 | 第78-79页 |
| 作者简介 | 第79页 |
