| 中文摘要 | 第8-9页 |
| Abstract | 第9-10页 |
| Chapter 1 Introduction | 第12-16页 |
| 1.1 Background and Motivation | 第12-13页 |
| 1.1.1 Background | 第12-13页 |
| 1.1.2 Motivation | 第13页 |
| 1.2 Research Status at Home and Abroad | 第13-15页 |
| 1.3 Objective of Research Work | 第15页 |
| 1.4 Methodology | 第15页 |
| 1.5 Required Resources | 第15页 |
| 1.6 Structure of Thesis | 第15-16页 |
| Chapter 2 Overview of Big Data Text Analysis Basedon Hadoop Architecture | 第16-30页 |
| 2.1 Big Data Overview | 第16-17页 |
| 2.2 Big Data Characteristics | 第17-20页 |
| 2.2.1 Volume | 第17-18页 |
| 2.2.2 Velocity | 第18-19页 |
| 2.2.3 Variety | 第19页 |
| 2.2.4 Veracity | 第19页 |
| 2.2.5 Value | 第19-20页 |
| 2.3 Different Types of Data | 第20-23页 |
| 2.3.1 Structured Data | 第22页 |
| 2.3.2 Unstructured Data | 第22-23页 |
| 2.3.3 Semi-Structured Data | 第23页 |
| 2.3.4 Metadata | 第23页 |
| 2.4 Data Analysis | 第23-24页 |
| 2.5 Big Data Adoption and Planning Considerations | 第24-28页 |
| 2.5.1 Data Procurement | 第25页 |
| 2.5.2 Privacy | 第25-26页 |
| 2.5.3 Security | 第26页 |
| 2.5.4 Provenance | 第26-27页 |
| 2.5.5 Limited Realtime Support | 第27-28页 |
| 2.5.6 Distinct Performance Challenges | 第28页 |
| 2.6 Hadoop Overview | 第28-30页 |
| 2.6.1 Hadoop Architecture | 第28-29页 |
| 2.6.2 MapReduce | 第29页 |
| 2.6.3 Hadoop Distributed File System | 第29-30页 |
| Chapter 3 Implementation plan | 第30-36页 |
| 3.1 Big Data Analysis Techniques | 第30-31页 |
| 3.2 Quantitative Analysis | 第31页 |
| 3.3 Qualitative Analysis | 第31-32页 |
| 3.4 Data Mining | 第32页 |
| 3.5 Statistical Analysis | 第32-36页 |
| 3.5.1 A/B Testing | 第32-33页 |
| 3.5.2 Correlation | 第33-34页 |
| 3.5.3 Regression | 第34-35页 |
| 3.5.4 Conclusions | 第35-36页 |
| Chapter 4 Experimental result | 第36-51页 |
| 4.1 Text Analysis Within Hadoop | 第36-37页 |
| 4.2 Test Cases | 第37-39页 |
| 4.3 Dataservices vs Hadoop: Comparing the Results | 第39-41页 |
| 4.4 Transferring Text Data Processing Libraries To The Hadoop Cluster | 第41-42页 |
| 4.5 Optimizing Text Data Processing For Use In The Hadoop Framework | 第42页 |
| 4.6 HDFS Source File Formats | 第42-43页 |
| 4.7 Text Data Processing Pushed Down to Hadoop | 第43-44页 |
| 4.8 Problem Tracking | 第44-46页 |
| 4.9 Other Type of Errors to Watch Out | 第46页 |
| 4.10 University Mobile App for Collecting Big Data | 第46-48页 |
| 4.11 Using GPS Location Coordinate for Text Analysis | 第48-49页 |
| 4.12 Results Comparison | 第49-51页 |
| Chapter 5 Summary and future work | 第51-53页 |
| 5.1 Summary | 第51-52页 |
| 5.2 Future Work | 第52-53页 |
| References | 第53-60页 |
| Acknowledgements | 第60-61页 |
| Appendix A. Mobile Apps Developed during the master's degree program | 第61-62页 |
| Appendix B. Key Codes used in this thesis | 第62-76页 |
