数据爬取搜集策略，目前有四种网络爬虫搜集Web网页的策略：分别是线性搜集策略，深度优先搜集策略，广度优先搜集策略，收录搜集策略。下面将详细介绍网络爬虫各种数据爬取策略。
1）线性爬取方法
线性爬取的思路是，爬虫从一个给定的URL种子开始爬行，然后对每个URL地址信息进行增量搜索爬取，不考虑网站的HTML文件其他超链的网站地址。因此，线性爬取思想不适合于大范围的网页搜集，然而，完全适用小范围完整的网页搜集，采取线性爬取方法能够在网页集合里搜集少量或者没有参考其余的HTML文件引用的新HTML文件的源头。
2）深度优先爬取方式
深度优先爬取方式的思路，是研发爬行器最早采用的一种策略，深度优先爬行方式的目标是遍历到被查找的结构的叶子结点。这种爬行方式追踪HTML文件里全部的超链，遍历所有的超链接，一直爬行直至无法继续往前搜集更多的链接，这时，爬虫会返回到上一结点的HTML网页，接着从这个HTML页面中所有的超链开始继续遍历，重复上一步的操作，如果没有更多的超链接可以继续遍历，表明网页爬取已然结束。深度优先爬行方式适用于搜集一个特定的网站或者深层次嵌套的HTML页面集，但是，对于大范围内的网页爬取，因为网络资源相当丰富，相对来说网络结构非常深，爬虫爬行到一定的程度也许就无法再走出来了，这就是所谓的死链。因此还是不适用于大规模Web结构。
3）广度优先遍历方法
广度优先遍历方法，基本思想是：第一，搜集相同层次中的所有网页；第二，搜索下一级别的网页；第三，假如，种子URL对应的HTML网页中，有三个不同的超链接，爬虫会先对其中的一个HTML网页，进行分析处理，结束之后，爬虫会返回到该层，对刚才的HTML文件中的其余超链逐个进行分析处理。反复以上操作，直至该HTML页面中全部的超链均被分析处理。这种方式，能够保证浅层次的第一次遍历搜集，对于丰富深层次的网络资源，不会发生钻进去出不来的情况。这种广度优先的搜索方法更容易实现，目前也被广泛的设计使用，广度优先搜集方式的不足之处在于，搜集深层次的网页需大量的时间。
4）收录搜集策略
某些网页能够通过用户自己提交的方式来搜集，比如说：某个商业站点向某个检索系统应用程序提出申请，接下来，这个检索系统会获取到他们提出申请的页面资源，搜集到商业站点的信息数据之后，把商业站点数据信息增添到检索系统索引库中。
金城在线专注网站、软件、APP、微信公众平台、小程序、抖音、头条等开发推广，如果您有这方面的需求或者不同的观点，欢迎联系交流。
