ロボット.txt 使用量の分布 で シント・マールテン島

トップイン ロボット.txt 使用量の分布 で シント・マールテン島

テクノロジー	ウェブサイト	%
Googlebot Disallow	242	11.37
Baidu Bot Disallow	225	10.57
Yandex Bot Disallow	211	9.91
Microsoft BingBot Disallow	211	9.91
Sogou Bot Disallow	207	9.72
Alexa Bot Disallow	205	9.63
Yahoo Slurp Disallow	204	9.58
Soso Bot Disallow	201	9.44
Robots Disallow	127	5.97
Google Media Partners Disallow	68 *	3.19
Some Robots Disallow	58	2.72
Google AdsBot Disallow	27	1.27
Google AdsBot Mobile Disallow	24	1.13
GPTBot Disallow	13	0.61
Anthropic Claude Bot Disallow	9	0.42
Google Bard Disallow	9	0.42
Perplexity	9	0.42
Cohere AI Disallow	8	0.38
Google AdsBot Mobile Apps Disallow	8	0.38
Common Crawl Bot Disallow	7	0.33
AppleBot Disallow	7	0.33
Facebook Bot Disallow	7	0.33
Apple AI Bot Disallow	7	0.33
Semrush Bot Disallow	6	0.28
Ahrefs Bot Disallow	5	0.23
Majestic Bot Disallow	4	0.19
Microsoft MSNBot Disallow	3	0.14
Google Image Bot Disallow	2	0.09
Google News Bot Disallow	2	0.09
Google Video Bot Disallow	2	0.09
DuckDuckGo Bot Disallow	2	0.09
Google Favicon Disallow	2	0.09
Google API Bot Disallow	2	0.09
Google DuplexWeb Disallow	2	0.09
ByteDance Bytespider Disallow	1	0.05
Webz Omgili Disallow	1	0.05
360 Bot Disallow	1	0.05

2,129 検出

の ロボット.txt で シント・マールテン島. 最終更新 31st 1 2025.

Googlebot Disallow 現在、このカテゴリで最も人気のあるテクノロジーです。