机器人.txt 使用分布 在 巴拉圭

置顶 机器人.txt 使用分布 在 巴拉圭

技术	网站	%
Google AdsBot Disallow	747	18.7
Googlebot Disallow	619	15.5
Google AdsBot Mobile Disallow	561	14.05
Robots Disallow	427	10.69
Ahrefs Bot Disallow	238	5.96
GPTBot Disallow	88	2.2
Google Media Partners Disallow	85 *	2.13
Anthropic Claude Bot Disallow	78	1.95
Common Crawl Bot Disallow	76	1.9
Google Bard Disallow	75	1.88
AppleBot Disallow	70	1.75
Some Robots Disallow	69	1.73
Facebook Bot Disallow	68	1.7
Semrush Bot Disallow	67	1.68
Apple AI Bot Disallow	66	1.65
Baidu Bot Disallow	65	1.63
Cohere AI Disallow	64	1.6
Perplexity	64	1.6
Google AdsBot Mobile Apps Disallow	62	1.55
Yandex Bot Disallow	60	1.5
Microsoft BingBot Disallow	46	1.15
Yahoo Slurp Disallow	44	1.1
Majestic Bot Disallow	44	1.1
Sogou Bot Disallow	38	0.95
Alexa Bot Disallow	36	0.9
Soso Bot Disallow	31	0.78
Microsoft MSNBot Disallow	20	0.5
Google Image Bot Disallow	17	0.43
ByteDance Bytespider Disallow	13	0.33
Exalead Bot Disallow	12	0.3
Webz Omgili Disallow	9	0.23
360 Bot Disallow	5	0.13
BuiltWithBot Disallow	4	0.1
YOU Disallow	4	0.1
Diffbot Disallow	3	0.08
Google News Bot Disallow	3	0.08
Google Video Bot Disallow	3	0.08
DuckDuckGo Bot Disallow	3	0.08
Google Favicon Disallow	3	0.08
Youdao Bot Disallow	3	0.08
Google API Bot Disallow	2	0.05
Google DuplexWeb Disallow	2	0.05

3,994 检测结果

的 机器人.txt 在 巴拉圭. 最近更新时间 04th 1月 2025.

Google AdsBot Disallow 是目前该类别中最流行的技术。