摘要 | 第5-6页 |
abstract | 第6-7页 |
第1章 绪论 | 第11-16页 |
1.1 研究背景及意义 | 第11-12页 |
1.2 国内外研究现状 | 第12-14页 |
1.3 本文的研究内容 | 第14页 |
1.4 本文的组织结构 | 第14-15页 |
1.5 本章小结 | 第15-16页 |
第2章 企业公示数据查询系统相关技术介绍 | 第16-23页 |
2.1 网络爬虫技术 | 第16-18页 |
2.2 重复数据删除技术 | 第18页 |
2.3 Lucene技术概述 | 第18-19页 |
2.4 基于Solr的检索技术 | 第19-20页 |
2.5 Hadoop分布式平台 | 第20-22页 |
2.6 Redis非关系型数据库 | 第22页 |
2.7 本章小结 | 第22-23页 |
第3章 企业公示数据查询系统核心技术研究 | 第23-50页 |
3.1 企业画像数据建模 | 第23-27页 |
3.2 基于Hash算法的数据更新方案研究 | 第27-35页 |
3.2.1 常用哈希算法及性能对比 | 第28-33页 |
3.2.2 基于哈希算法的数据更新方案 | 第33-35页 |
3.3 基于Solr的垂直检索技术研究 | 第35-49页 |
3.3.1 检索技术工作原理 | 第36-39页 |
3.3.2 中文分词技术研究 | 第39-41页 |
3.3.3 向量空间模型 | 第41-43页 |
3.3.4 TF-IDF权重计算算法 | 第43-45页 |
3.3.5 Solr相关性排序算法研究 | 第45-46页 |
3.3.6 改进的相关性排序算法 | 第46-49页 |
3.4 本章小结 | 第49-50页 |
第4章 企业公示数据查询系统设计与实现 | 第50-82页 |
4.1 系统需求分析 | 第50-51页 |
4.2 系统架构设计 | 第51-52页 |
4.3 数据存储设计 | 第52-55页 |
4.4 基于网络爬虫技术的数据采集模块设计与实现 | 第55-63页 |
4.4.1 数据采集模块设计及实现 | 第56-62页 |
4.4.2 验证码识别技术 | 第62-63页 |
4.5 基于ETL模型和规则引擎驱动的数据处理模块设计与实现 | 第63-69页 |
4.5.1 原始数据特征描述 | 第63-64页 |
4.5.2 基于ETL模型的数据清洗 | 第64-67页 |
4.5.3 基于规则引擎的数据聚合 | 第67-69页 |
4.6 基于大数据技术的数据分析模块设计与实现 | 第69-73页 |
4.6.1 企业检索相关性因子分析 | 第70页 |
4.6.2 企业检索相关性因子的设计与实现 | 第70-73页 |
4.7 基于Solr的数据检索模块设计与实现 | 第73-81页 |
4.7.1 Solr环境搭建 | 第75页 |
4.7.2 数据库访问实现 | 第75-76页 |
4.7.3 引入中文分词器 | 第76-77页 |
4.7.4 创建索引实现 | 第77页 |
4.7.5 检索实现 | 第77-79页 |
4.7.6 用户界面实现 | 第79-81页 |
4.8 本章小结 | 第81-82页 |
第5章 系统测试 | 第82-89页 |
5.1 数据更新性能测试 | 第82-84页 |
5.2 基于vsm的多因素评分算法性能测试 | 第84-88页 |
5.3 本章小结 | 第88-89页 |
第6章 总结与展望 | 第89-91页 |
6.1 论文总结 | 第89页 |
6.2 工作展望 | 第89-91页 |
参考文献 | 第91-94页 |
致谢 | 第94页 |