MJ12bot 爬虫

MJ12bot 爬虫最近在查网站日志的时候发现了一只 MJ12bot爬虫，去官网也没看出个所以然，这里贴出爬虫官网分布式搜索引擎介绍MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫，他有专门的中文站（MJ12bot是Majestic-12分布式搜索引擎的爬虫）这个爬虫爬得老欢快了，一天几百次访问，一般来说，这些不能带来流量的爬虫，而且消耗资源较多，是需要我们屏蔽掉的。在...

  • a1036862671
  • 2020 年 07 月 10 日
  • 关闭评论