基于新闻和论坛的信息采集系统的设计与实现
| 目录 | 第1-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-9页 |
| 第一章 绪论 | 第9-13页 |
| ·课题的研究背景 | 第9页 |
| ·信息采集的研究现状 | 第9-11页 |
| ·信息采集概述 | 第9-10页 |
| ·Web 信息采集技术的分类 | 第10-11页 |
| ·国内外研究现状 | 第11页 |
| ·系统设计的目的和意义 | 第11-12页 |
| ·论文的组织结构 | 第12-13页 |
| 第二章 信息采集关键技术研究 | 第13-21页 |
| ·信息采集的基本原理 | 第13页 |
| ·爬虫技术 | 第13-15页 |
| ·通用网络爬虫 | 第13-14页 |
| ·聚焦网络爬虫 | 第14-15页 |
| ·深度爬虫 | 第15页 |
| ·代理服务器技术 | 第15-16页 |
| ·网页去重技术 | 第16-17页 |
| ·正则表达式 | 第17页 |
| ·种子 URL 的提取和正规化处理 | 第17-18页 |
| ·中文切词技术 | 第18-19页 |
| ·本章小结 | 第19-21页 |
| 第三章 需求分析 | 第21-25页 |
| ·Web 信息采集面临的主要困难 | 第21页 |
| ·系统目标和解决的问题 | 第21-22页 |
| ·系统需求概述 | 第22页 |
| ·系统需求分析 | 第22-24页 |
| ·新闻的特点 | 第22-23页 |
| ·论坛的特点 | 第23-24页 |
| ·本章小结 | 第24-25页 |
| 第四章 基于新闻和论坛的信息采集系统的设计 | 第25-33页 |
| ·系统设计目标 | 第25页 |
| ·系统概要设计 | 第25-28页 |
| ·系统整体结构 | 第25-27页 |
| ·具体流程设计 | 第27-28页 |
| ·系统详细设计 | 第28-31页 |
| ·系统登录模块 | 第28页 |
| ·信息采集模块 | 第28-29页 |
| ·数据处理模块 | 第29-30页 |
| ·增删 URL 模块 | 第30页 |
| ·关键数据库结构设计 | 第30-31页 |
| ·环境要求 | 第31-32页 |
| ·本章小结 | 第32-33页 |
| 第五章 基于新闻和论坛的信息采集系统的实现 | 第33-45页 |
| ·系统主要模块的实现 | 第33-39页 |
| ·信息采集模块的实现 | 第33-38页 |
| ·数据处理模块的实现 | 第38-39页 |
| ·增删 URL 模块的实现 | 第39页 |
| ·基于新闻和论坛的信息采集系统的演示过程 | 第39-43页 |
| ·本章小结 | 第43-45页 |
| 第六章 系统测试与分析 | 第45-47页 |
| ·测试环境 | 第45页 |
| ·测试集的选择 | 第45页 |
| ·采集速度 | 第45页 |
| ·采准率 | 第45-46页 |
| ·本章小结 | 第46-47页 |
| 第七章 总结与展望 | 第47-48页 |
| 参考文献 | 第48-50页 |
| 致谢 | 第50页 |
