1、数据爬取模块：作用就是利用爬虫程序追踪网上的超链接找到并下载新的页面，为建立初始的数据库做好充足的资源准备；通过回访已经抓到的互联网网页看其是否发生了变化，依次保证抓取到的信息有效；并将抓取到的 HTML、XML、AdobePDF 等格式的网页转换成文本文档…