机器人.txt 使用分布 在 南乔治亚岛和南桑威奇群岛

置顶 机器人.txt 使用分布 在 南乔治亚岛和南桑威奇群岛

技术	网站	%
Robots Disallow	125	19
Some Robots Disallow	71	10.79
Alexa Bot Disallow	42	6.38
Microsoft BingBot Disallow	40	6.08
Yahoo Slurp Disallow	38	5.78
Yandex Bot Disallow	37	5.62
Sogou Bot Disallow	35	5.32
Soso Bot Disallow	35	5.32
Anthropic Claude Bot Disallow	19	2.89
GPTBot Disallow	17	2.58
Common Crawl Bot Disallow	17	2.58
AppleBot Disallow	17	2.58
Facebook Bot Disallow	16	2.43
Apple AI Bot Disallow	16	2.43
Ahrefs Bot Disallow	14	2.13
Google Bard Disallow	14	2.13
Majestic Bot Disallow	11	1.67
Semrush Bot Disallow	11	1.67
Google AdsBot Mobile Apps Disallow	10	1.52
Cohere AI Disallow	10	1.52
Webz Omgili Disallow	10	1.52
Perplexity	9	1.37
Microsoft MSNBot Disallow	9	1.37
ByteDance Bytespider Disallow	7	1.06
Google Image Bot Disallow	5	0.76
Diffbot Disallow	4	0.61
Google News Bot Disallow	3	0.46
Google Video Bot Disallow	3	0.46
Google Favicon Disallow	3	0.46
Exalead Bot Disallow	2	0.3
DuckDuckGo Bot Disallow	2	0.3
Youdao Bot Disallow	2	0.3
Google API Bot Disallow	2	0.3
Google DuplexWeb Disallow	2	0.3

658 检测结果

的 机器人.txt 在 南乔治亚岛和南桑威奇群岛. 最近更新时间 01st 11月 2024.

Robots Disallow 是目前该类别中最流行的技术。