主题爬虫关键技术研究及应用
| 摘要 | 第1-7页 |
| ABSTRACT | 第7-9页 |
| 目录 | 第9-12页 |
| 第1章 绪论 | 第12-17页 |
| ·选题背景 | 第12页 |
| ·论文研究意义 | 第12-13页 |
| ·主题爬虫关键技术研究现状 | 第13-15页 |
| ·主题基准模型 | 第13-14页 |
| ·网页分析方法 | 第14页 |
| ·网页搜索策略 | 第14-15页 |
| ·本文主要研究内容 | 第15-16页 |
| ·论文组织结构 | 第16-17页 |
| 第2章 主题爬虫相关技术研究 | 第17-34页 |
| ·主题爬虫工作原理 | 第17-19页 |
| ·主题基准模型建立方法研究 | 第19-23页 |
| ·基于常规方法建立主题基准模型 | 第19-21页 |
| ·基于知识库建立主题基准模型 | 第21-22页 |
| ·基于本体建立主题基准模型 | 第22-23页 |
| ·分析小结 | 第23页 |
| ·网页正文提取研究 | 第23-27页 |
| ·基于网页结构正文提取 | 第23-24页 |
| ·基于网页模板正文提取 | 第24-25页 |
| ·基于可视化信息正文提取 | 第25-27页 |
| ·分析小结 | 第27页 |
| ·主题爬虫搜索策略研究 | 第27-33页 |
| ·基于立即价值评价搜索 | 第27-30页 |
| ·基于未来价值评价搜索 | 第30-31页 |
| ·基于综合价值评价搜索 | 第31页 |
| ·基于动态价值评价搜索 | 第31-32页 |
| ·分析小结 | 第32-33页 |
| ·本章小结 | 第33-34页 |
| 第3章 主题爬虫总体设计 | 第34-43页 |
| ·主题爬虫设计 | 第34-36页 |
| ·主题爬虫时序图 | 第35页 |
| ·主题爬虫类结构 | 第35-36页 |
| ·初始化主题爬虫种子 | 第36-37页 |
| ·页面采集模块 | 第37-40页 |
| ·网页源码下载 | 第37-38页 |
| ·网页链接提取 | 第38-39页 |
| ·URL访问控制 | 第39-40页 |
| ·主题相关度计算 | 第40-41页 |
| ·主题爬虫工作流程 | 第41-42页 |
| ·本章小结 | 第42-43页 |
| 第4章 主题基准模型和网页分析方法研究 | 第43-56页 |
| ·向量空间模型 | 第43-44页 |
| ·主题基准模型研究 | 第44-47页 |
| ·TF-IDF词频统计算法分析 | 第44-46页 |
| ·改进TF-IDF特征项权值统计算法 | 第46-47页 |
| ·网页分析方法研究 | 第47-48页 |
| ·网页消噪 | 第48-49页 |
| ·标签窗口正文提取研究 | 第49-54页 |
| ·基于标签窗口分块 | 第50-52页 |
| ·正文提取研究 | 第52-54页 |
| ·网页主题向量空间表示 | 第54-55页 |
| ·本章小结 | 第55-56页 |
| 第5章 主题搜索策略的研究与改进 | 第56-62页 |
| ·遗传算法 | 第56-57页 |
| ·遗传算法基本思想 | 第56页 |
| ·遗传算法在主题爬虫中的应用研究 | 第56-57页 |
| ·自适应遗传算法搜索策略 | 第57-61页 |
| ·适应度函数 | 第59页 |
| ·选择操作 | 第59页 |
| ·交叉操作 | 第59页 |
| ·变异操作 | 第59-60页 |
| ·自适应控制 | 第60-61页 |
| ·本章小结 | 第61-62页 |
| 第6章 信用主题爬虫实现与应用 | 第62-72页 |
| ·信用主题基准模型建立 | 第62-63页 |
| ·初始化信用种子 | 第63页 |
| ·系统数据库表设计 | 第63-64页 |
| ·实验结果 | 第64-71页 |
| ·信用主题爬虫开发环境 | 第64-65页 |
| ·试验及结果分析 | 第65-71页 |
| ·本章小结 | 第71-72页 |
| 第7章 结论与展望 | 第72-74页 |
| ·结论 | 第72-73页 |
| ·展望 | 第73-74页 |
| 参考文献 | 第74-79页 |
| 致谢 | 第79-80页 |
| 攻读学位期间参加的科研项目和成果 | 第80页 |
