F布局的流量变现网站框架的设计与实现
摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
第一章 绪论 | 第10-15页 |
1.1 课题的背景和意义 | 第10-11页 |
1.2 网站建站技术和垂直网站的发展及现状 | 第11-12页 |
1.3 研究的内容和目标 | 第12-13页 |
1.4 论文组织结构安排 | 第13-15页 |
第二章 需求分析及背景知识 | 第15-25页 |
2.1 需求分析 | 第15-16页 |
2.2 网络爬虫 | 第16-19页 |
2.2.1 通用网络爬虫 | 第16-18页 |
2.2.2 主题网络爬虫技术 | 第18-19页 |
2.3 数据的ETL | 第19页 |
2.4 热点文章排序 | 第19-22页 |
2.4.1 中文分词算法 | 第19-20页 |
2.4.2 关键词提取算法 | 第20-21页 |
2.4.3 百度指数 | 第21-22页 |
2.5 搜索排名优化 | 第22-23页 |
2.6 流量变现的方法和效果 | 第23-24页 |
2.7 本章小结 | 第24-25页 |
第三章 系统设计 | 第25-41页 |
3.1 总体设计 | 第25-26页 |
3.2 关键词提取模块的设计 | 第26-27页 |
3.3 定时与调度模块的设计 | 第27-28页 |
3.4 主题爬虫模块的设计 | 第28-32页 |
3.4.1 主题确立模块 | 第29-30页 |
3.4.2 初始种子选取模块 | 第30页 |
3.4.3 爬虫模块 | 第30页 |
3.4.4 相关度分析模块 | 第30-31页 |
3.4.5 排序模块 | 第31页 |
3.4.6 页面存储模块 | 第31-32页 |
3.5 数据ETL模块 | 第32-34页 |
3.5.1 数据抽取 | 第32页 |
3.5.2 数据加工和转换 | 第32-33页 |
3.5.3 数据装载 | 第33页 |
3.5.4 数据ETL配置 | 第33-34页 |
3.6 热点文章排序模块的设计 | 第34-35页 |
3.7 流量变现模块的设计 | 第35-38页 |
3.8 管理网站模块的设计 | 第38-39页 |
3.9 用户行为采集模块的设计 | 第39-40页 |
3.10 本章小结 | 第40-41页 |
第四章 系统实现 | 第41-59页 |
4.1 定时调度模块的实现 | 第41-45页 |
4.1.1 基于JDK的Timer类 | 第41-43页 |
4.1.2 基于开源项目Quanz | 第43-44页 |
4.1.3 表结构设计 | 第44-45页 |
4.2 主题爬虫模块的实现 | 第45-49页 |
4.2.1 数据采集的实现 | 第45-46页 |
4.2.2 主题判断的实现 | 第46页 |
4.2.3 维护URL队列 | 第46-47页 |
4.2.4 数据存储 | 第47-49页 |
4.3 热点文章排序模块的实现 | 第49-50页 |
4.4 流量变现模块的实现 | 第50-55页 |
4.4.1 网站架构实现 | 第50-53页 |
4.4.2 具体实现流程 | 第53-55页 |
4.5 管理网站模块的实现 | 第55-56页 |
4.5.1 选择建站模板 | 第55页 |
4.5.2 更改排序功能 | 第55-56页 |
4.6 用户行为采集模块的实现 | 第56-58页 |
4.6.1 用户行为采集的实现 | 第56-57页 |
4.6.2 数据存储 | 第57-58页 |
4.7 本章小结 | 第58-59页 |
第五章 系统测试与建站效果展示 | 第59-68页 |
5.1 测试环境 | 第59页 |
5.2 主题爬虫效果测试 | 第59-62页 |
5.2.1 爬行效率的测试与分析 | 第59-60页 |
5.2.2 主题相关性测试及分析 | 第60-61页 |
5.2.3 爬虫定时启动测试 | 第61-62页 |
5.3 网站效果展示 | 第62-67页 |
5.3.1 管理网站效果展示 | 第62-64页 |
5.3.2 用户网站 | 第64-67页 |
5.4 本章小结 | 第67-68页 |
第六章 结束语 | 第68-70页 |
6.1 工作总结 | 第68页 |
6.2 进一步工作 | 第68-70页 |
参考文献 | 第70-72页 |
致谢 | 第72页 |