ملف الروبوتات.txt توزيع الاستخدام في ساموا الأمريكية

ليثبت ملف الروبوتات.txt توزيع الاستخدام في ساموا الأمريكية

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	380	32.01
Googlebot Disallow	147	12.38
GPTBot Disallow	41	12.77
Microsoft BingBot Disallow	39	3.29
Common Crawl Bot Disallow	37	11.53
Yandex Bot Disallow	36	3.03
Anthropic Claude Bot Disallow	36	11.21
Yahoo Slurp Disallow	34	2.86
AppleBot Disallow	33	2.78
Google Bard Disallow	33	10.28
Facebook Bot Disallow	33	10.28
Apple AI Bot Disallow	33	10.28
Alexa Bot Disallow	31	9.66
Ahrefs Bot Disallow	30	2.53
Google AdsBot Mobile Apps Disallow	29	2.44
Perplexity	28	8.72
Soso Bot Disallow	27	2.27
Cohere AI Disallow	27	8.41
Sogou Bot Disallow	25	2.11
Majestic Bot Disallow	25	2.11
Semrush Bot Disallow	18	1.52
Microsoft MSNBot Disallow	11	0.93
Google Image Bot Disallow	8	0.67
Exalead Bot Disallow	7	0.59
Webz Omgili Disallow	7	2.18
Google Video Bot Disallow	5	0.42
Google News Bot Disallow	4	0.34
DuckDuckGo Bot Disallow	4	0.34
Google Favicon Disallow	4	0.34
ByteDance Bytespider Disallow	3	0.93
Google API Bot Disallow	3	0.25
Google DuplexWeb Disallow	3	0.25
360 Bot Disallow	2	0.17
YOU Disallow	2	0.62
BuiltWithBot Disallow	1	0.08
Diffbot Disallow	1	0.31

1,187 الاكتشافات

ل ملف الروبوتات.txt في ساموا الأمريكية. آخر تحديث 29st ربيع الثاني 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.