| 摘要 | 第1-5页 |
| ABSTRACT | 第5-8页 |
| LIST OF FIGURES | 第8-9页 |
| LIST OF TABLES | 第9-10页 |
| 1 INTRODUCTION | 第10-13页 |
| ·BACKGROUND | 第10-11页 |
| ·MOTIVATION | 第11页 |
| ·PURPOSE | 第11页 |
| ·THESIS ORGANIZATION | 第11-12页 |
| ·CHAPTER SUMMARY | 第12-13页 |
| 2 LITERATURE | 第13-17页 |
| ·SPIDERING OVERVIEW | 第13页 |
| ·SPIDERING METHODS | 第13-14页 |
| ·SPIDERING ALGORITHMS | 第14-15页 |
| ·SPIDERING POLICIES | 第15-16页 |
| ·CHAPTER SUMMARY | 第16-17页 |
| 3 DESCRIPTION OF THE SPIDERING | 第17-23页 |
| ·WEB SCANNING | 第17页 |
| ·WAVA OVERVIEW | 第17-19页 |
| ·SPIDERING DESIGN CONSIDERATIONS | 第19-20页 |
| ·SPIDERING ARCHITECTURE | 第20-21页 |
| ·FLOW OF THE SPIDERING PROCESS | 第21-22页 |
| ·CHAPTER SUMMARY | 第22-23页 |
| 4 SPIDERING | 第23-33页 |
| ·PROGRAMMING ENVIRONMENT AND DEPENDENCIES | 第23页 |
| ·PROGRAM MODULES | 第23-32页 |
| ·CHAPTER SUMMARY | 第32-33页 |
| 5 EXPERIMENT | 第33-40页 |
| ·SPIDERING CONFIGURATION | 第33-34页 |
| ·SPIDER PROCESS | 第34-38页 |
| ·SPIDERING RESULTS | 第38-39页 |
| ·CHAPTER SUMMARY | 第39-40页 |
| 6 CONCLUSION | 第40-42页 |
| ·SUMMARY OF WORK | 第40页 |
| ·FUTURE WORK | 第40-42页 |
| ACKNOWLEDGEMENTS | 第42-43页 |
| REFERENCES | 第43-46页 |
