ملف robots.txt توزيع الاستخدام في ريونيون

أعلى في ملف robots.txt توزيع الاستخدام في ريونيون

تكنولوجيا	المواقع الالكترونية	%
Googlebot Disallow	2,321	17.18
Baidu Bot Disallow	1,281	9.48
Sogou Bot Disallow	1,232	9.12
Robots Disallow	1,227	9.08
Google AdsBot Disallow	1,032	7.64
Some Robots Disallow	956	7.08
Google AdsBot Mobile Disallow	769	5.69
Ahrefs Bot Disallow	463	3.43
Yandex Bot Disallow	456	3.38
Microsoft BingBot Disallow	446	3.3
Yahoo Slurp Disallow	441	3.26
Alexa Bot Disallow	391	26.84
Soso Bot Disallow	387	2.86
Semrush Bot Disallow	202	1.5
Google Media Partners Disallow	199 *	1.47
Majestic Bot Disallow	176	1.3
Anthropic Claude Bot Disallow	161	11.05
GPTBot Disallow	123	8.44
Common Crawl Bot Disallow	113	7.76
Google Bard Disallow	105	7.21
Facebook Bot Disallow	96	6.59
AppleBot Disallow	94	0.7
Apple AI Bot Disallow	80	5.49
Cohere AI Disallow	76	5.22
Perplexity	75	5.15
Google AdsBot Mobile Apps Disallow	72	0.53
Webz Omgili Disallow	62	4.26
DuckDuckGo Bot Disallow	62	0.46
Microsoft MSNBot Disallow	50	0.37
Google Image Bot Disallow	49	0.36
ByteDance Bytespider Disallow	43	2.95
Diffbot Disallow	36	2.47
Google News Bot Disallow	35	0.26
Google Video Bot Disallow	35	0.26
YOU Disallow	34	2.33
Google Favicon Disallow	33	0.24
Google API Bot Disallow	33	0.24
Google DuplexWeb Disallow	33	0.24
Exalead Bot Disallow	23	0.17
Pipl Disallow	4	0.03
Youdao Bot Disallow	2	0.01
360 Bot Disallow	1	0.01
BuiltWithBot Disallow	1	0.01

13,510 الكشف

ل ملف robots.txt في ريونيون. آخر تحديث 23st شوال 2025.

Googlebot Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.