ロボット.txt 使用量の分布 で ミクロネシア

トップイン ロボット.txt 使用量の分布 で ミクロネシア

テクノロジー	ウェブサイト	%
Googlebot Disallow	782	12.01
Baidu Bot Disallow	688	10.57
Some Robots Disallow	551	8.47
Sogou Bot Disallow	480	7.37
Yandex Bot Disallow	253	3.89
Alexa Bot Disallow	250	3.84
Google AdsBot Disallow	246	3.78
Microsoft BingBot Disallow	241	3.7
Yahoo Slurp Disallow	239	3.67
Soso Bot Disallow	229	3.52
Google AdsBot Mobile Disallow	205	3.15
Robots Disallow	182	2.8
Google Media Partners Disallow	178 *	2.73
Google Bard Disallow	173	2.66
Common Crawl Bot Disallow	172	2.64
GPTBot Disallow	171	2.63
Anthropic Claude Bot Disallow	166	2.55
AppleBot Disallow	163	2.5
Facebook Bot Disallow	163	2.5
Apple AI Bot Disallow	160	2.46
Perplexity	138	2.12
Cohere AI Disallow	137	2.1
Google AdsBot Mobile Apps Disallow	135	2.07
Ahrefs Bot Disallow	108	1.66
Majestic Bot Disallow	85	1.31
Semrush Bot Disallow	84	1.29
Webz Omgili Disallow	35	0.54
Microsoft MSNBot Disallow	14	0.22
ByteDance Bytespider Disallow	13	0.2
Google Image Bot Disallow	10	0.15
Exalead Bot Disallow	9	0.14
Diffbot Disallow	9	0.14
DuckDuckGo Bot Disallow	6	0.09
Google News Bot Disallow	5	0.08
Google Video Bot Disallow	5	0.08
Google Favicon Disallow	5	0.08
Google API Bot Disallow	5	0.08
Google DuplexWeb Disallow	5	0.08
YOU Disallow	4	0.06
360 Bot Disallow	2	0.03
Youdao Bot Disallow	2	0.03
Pipl Disallow	1	0.02

6,509 検出

の ロボット.txt で ミクロネシア. 最終更新 04th 1 2025.

Googlebot Disallow 現在、このカテゴリで最も人気のあるテクノロジーです。