机器人.txt 使用分布 在 布隆迪

置顶 机器人.txt 使用分布 在 布隆迪

技术	网站	%
Robots Disallow	54	19.29
Yandex Bot Disallow	26	9.29
Microsoft BingBot Disallow	24	8.57
Alexa Bot Disallow	23	8.21
Yahoo Slurp Disallow	23	8.21
Soso Bot Disallow	23	8.21
Some Robots Disallow	17	6.07
Ahrefs Bot Disallow	9	3.21
GPTBot Disallow	9	3.21
Common Crawl Bot Disallow	8	2.86
AppleBot Disallow	7	2.5
Google Bard Disallow	7	2.5
Majestic Bot Disallow	7	2.5
Anthropic Claude Bot Disallow	6	2.14
Facebook Bot Disallow	6	2.14
Apple AI Bot Disallow	6	2.14
Cohere AI Disallow	6	2.14
Perplexity	6	2.14
Google AdsBot Mobile Apps Disallow	5	1.79
Semrush Bot Disallow	5	1.79
ByteDance Bytespider Disallow	1	0.36
Webz Omgili Disallow	1	0.36
Diffbot Disallow	1	0.36

280 检测结果

的 机器人.txt 在 布隆迪. 最近更新时间 04th 1月 2025.

Robots Disallow 是目前该类别中最流行的技术。