Loading... # MJ12bot 爬虫 最近在查网站日志的时候发现了一只 `MJ12bot`爬虫，去官网也没看出个所以然，这里贴出 [爬虫官网](https://mj12bot.com/)[分布式搜索引擎介绍](https://zh.majestic.com/company/about) MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫，他有专门的中文站（MJ12bot是Majestic-12分布式搜索引擎的爬虫） --- 这个爬虫爬得老欢快了，一天几百次访问，一般来说，这些不能带来流量的爬虫，而且消耗资源较多，是需要我们屏蔽掉的。 --- 在robots.txt添加进下面内容即可屏蔽 MJ12bot 爬虫 ```rotobs.txt User-agent: MJ12bot Disallow: / ``` --- 亦或者是降低爬虫频率 ```rotobs.txt User-Agent: MJ12bot Crawl-Delay: 5 ``` 抓取延迟应为整数，表示两次请求之间等待的秒数。MJ12bot将在两次向您的站点发出请求之间最多延迟20秒-但是请注意，尽管这不太可能，但您的站点仍可能同时从多个MJ12bot爬网。进行较高的抓取延迟可以最大程度地减少对您的网站的影响。如果将此Crawl-Delay参数用于*通配符，则该参数也将处于活动状态。 如果我们的机器人检测到您对其他任何机器人都使用了抓取延迟，则即使没有特别要求MJ12bot，它也会自动缓慢爬行。 --- 爬虫支持的robots.txt规格 当前的搜寻器支持robots.txt的以下非标准扩展： * 抓取延迟最多20秒（较高的值将四舍五入到我们的漫游器支持的最大值） * 尝试获取robots.txt时重定向（在同一站点内） * 与Yahoo的通配符规范兼容的Disallow指令中的简单模式匹配 * 如果指令更具体（长度更长），则Allow指令可以覆盖Disallow * 某些无法获取robots.txt的错误（例如403 Forbidden）将被视为一揽子禁止指令 --- 最后修改：2020 年 07 月 27 日 03 : 17 PM © 允许规范转载 赞赏 如果觉得我的文章对你有用，请随意赞赏 ×Close 赞赏作者 扫一扫支付
此处评论已关闭