服务与支持 |咨询热线 0931-8733767
  • 金城在线
  • 公司简介
  • 发展历程
  • 企业文化
  • 售后服务
  • 工作机会
  • 联系我们

华为移动搜索AspiegelBot爬虫被发现高频爬取

来源:发布时间:2020/5/25 10:04:54

继上次头条搜索暴力爬取网站信息后,华为移动搜索AspiegelBot爬虫近日也被站长发现开始高频抓爬网站信息,就和站长头条差不多。


华为移动搜索AspiegelBot爬虫被发现高频爬取 华为 搜索引擎 微新闻 第2张


了解到,这个AspiegelBot爬虫主要模拟安卓机进行抓爬 , UA标识符里也没有标注爬虫所属公司信息,显然不想让人发现,后面有站长深挖才发现这个爬虫属华为搜索旗下的AspiegelBot公司,并且AspiegelBot的爬虫超高频抓取甚至堪比上次的头条爬虫的暴力抓取,很多被爬的一些小网站很多直接瘫痪,开始屏蔽华为搜索AspiegelBot爬虫的访问。


有站长表示: 这次华为移动搜索AspiegelBot爬虫高频爬取跟就和站长头条差不多,也是大量抓取网站信息,一般搜索引擎只有开始大量建立索引库才会这么玩,跟刚上线时的头条搜索一个套路,看来华为搜索也是要准备进场了!


相关文章
  • 预约专家

    为您提供一对一解决方案
    立即预约
  • 售前咨询

    周一至周五9:00——17:30
    立即咨询
  • 联系方式

    13919049954

    全国7×24小时热线服务
  • 免费报价

    专属专业顾问1对1报价
    免费报价