Robots.txt 使用分布 在南极洲

排名靠前 Robots.txt 使用分布 在南极洲

技术	网站	%
Robots Disallow	4	16
Some Robots Disallow	2	8
Baidu Bot Disallow	2	8
Anthropic Claude Bot Disallow	2	8
Yandex Bot Disallow	1	4
Microsoft BingBot Disallow	1	4
Alexa Bot Disallow	1	4
Yahoo Slurp Disallow	1	4
Soso Bot Disallow	1	4
Ahrefs Bot Disallow	1	4
GPTBot Disallow	1	4
Common Crawl Bot Disallow	1	4
AppleBot Disallow	1	4
Google Bard Disallow	1	4
Facebook Bot Disallow	1	4
Cohere AI Disallow	1	4
Apple AI Bot Disallow	1	4
Perplexity	1	4
Google AdsBot Mobile Apps Disallow	1	4

25 检测

的 Robots.txt 在南极洲. 上次更新 07th 3月 2025.

Robots Disallow 是目前该类别中最流行的技术。