| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 目录 | 第9-11页 |
| 1 引言 | 第11-15页 |
| 1.1 论文背景 | 第11-12页 |
| 1.2 数据采集和分析应用现状 | 第12页 |
| 1.3 论文主要工作与结构 | 第12-15页 |
| 2 网页数据抓取与处理技术 | 第15-31页 |
| 2.1 网络页面的访问 | 第15-18页 |
| 2.2 网页数据的抓取 | 第18-21页 |
| 2.3 网页数据的解析 | 第21-22页 |
| 2.4 则表达式 | 第22页 |
| 2.5 文件操作 | 第22-26页 |
| 2.5.1 TXT文件操作 | 第23页 |
| 2.5.2 Excel文件操作 | 第23-24页 |
| 2.5.3 PDF文件操作 | 第24-26页 |
| 2.6 LINQ查询 | 第26-27页 |
| 2.7 反射 | 第27-28页 |
| 2.8 WPF | 第28页 |
| 2.9 ADO.NET Entity Framework | 第28-29页 |
| 2.10 本章小结 | 第29-31页 |
| 3 系统需求分析 | 第31-35页 |
| 3.1 传统于工数据分析流程 | 第31-32页 |
| 3.2 系统的需求分析 | 第32-33页 |
| 3.3 系统目标 | 第33页 |
| 3.4 本章小结 | 第33-35页 |
| 4 系统概要设计 | 第35-43页 |
| 4.1 主要功能模块 | 第35-36页 |
| 4.2 系统总体架构设计 | 第36-37页 |
| 4.3 表现层数据绑定 | 第37-38页 |
| 4.4 数据层概要设计 | 第38-41页 |
| 4.5 抽象任务流程设计 | 第41-42页 |
| 4.6 本章小结 | 第42-43页 |
| 5 系统详细设计与实现 | 第43-77页 |
| 5.1 系统分层详细设计 | 第43-45页 |
| 5.2 表示层详细设计与实现 | 第45-49页 |
| 5.2.1 界面设计 | 第45-47页 |
| 5.2.2 控件定义 | 第47-48页 |
| 5.2.3 命令绑定 | 第48-49页 |
| 5.3 数据层详细设计与实现 | 第49-52页 |
| 5.4 页面访问功能详细设计与实现 | 第52-53页 |
| 5.5 数据分析任务详细设计与实现 | 第53-57页 |
| 5.5.1 数据分析任务类型设计 | 第53-56页 |
| 5.5.2 数据分析任务工作流程 | 第56-57页 |
| 5.6 任务队列详细设计与实现 | 第57-58页 |
| 5.7 定时调度功能详细设计与实现 | 第58-59页 |
| 5.8 数据抓取与处理过程详细设计与实现 | 第59-75页 |
| 5.8.1 JapanMargin | 第60-65页 |
| 5.8.2 CNConnection | 第65-70页 |
| 5.8.3 Corax | 第70-75页 |
| 5.9 本章小结 | 第75-77页 |
| 6 系统验证 | 第77-83页 |
| 6.1 系统功能测试 | 第77-79页 |
| 6.2 系统性能分析 | 第79-81页 |
| 6.3 本章小结 | 第81-83页 |
| 7 结论 | 第83-85页 |
| 参考文献 | 第85-87页 |
| 作者简历及攻读硕士专业学位期间取得的研究成果 | 第87-89页 |
| 学位论文数据集 | 第89页 |