ملف الروبوتات.txt توزيع الاستخدام في سانت هيلانة

ليثبت ملف الروبوتات.txt توزيع الاستخدام في سانت هيلانة

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	1,833	14.96
Baidu Bot Disallow	1,735	14.16
Some Robots Disallow	1,480	12.08
Sogou Bot Disallow	1,238	10.1
Robots Disallow	1,014	8.27
Yandex Bot Disallow	556	4.54
Microsoft BingBot Disallow	540	4.41
Alexa Bot Disallow	525	4.28
Yahoo Slurp Disallow	525	4.28
Soso Bot Disallow	503	4.1
Google Media Partners Disallow	324 *	2.64
Ahrefs Bot Disallow	188	1.53
GPTBot Disallow	173	1.41
Google AdsBot Disallow	171	1.4
Majestic Bot Disallow	122	1
Common Crawl Bot Disallow	115	0.94
Google Bard Disallow	113	0.92
Semrush Bot Disallow	111	0.91
Anthropic Claude Bot Disallow	99	0.81
Facebook Bot Disallow	94	0.77
AppleBot Disallow	90	0.73
Google AdsBot Mobile Disallow	84	0.69
Apple AI Bot Disallow	78	0.64
Webz Omgili Disallow	74	0.6
Perplexity	67	0.55
Cohere AI Disallow	65	0.53
ByteDance Bytespider Disallow	60	0.49
Diffbot Disallow	44	0.36
YOU Disallow	35	0.29
Google AdsBot Mobile Apps Disallow	31	0.25
Microsoft MSNBot Disallow	28	0.23
Google Image Bot Disallow	24	0.2
Exalead Bot Disallow	18	0.15
Google News Bot Disallow	14	0.11
DuckDuckGo Bot Disallow	14	0.11
Pipl Disallow	13	0.11
360 Bot Disallow	12	0.1
Google Video Bot Disallow	12	0.1
Google Favicon Disallow	11	0.09
Google API Bot Disallow	9	0.07
Google DuplexWeb Disallow	9	0.07
BuiltWithBot Disallow	4	0.03
Youdao Bot Disallow	1	0.01

12,256 الاكتشافات

ل ملف الروبوتات.txt في سانت هيلانة. آخر تحديث 04th رجب 2025.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.