ملف الروبوتات.txt توزيع الاستخدام في توجو

ليثبت ملف الروبوتات.txt توزيع الاستخدام في توجو

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	123	19.59
Googlebot Disallow	91	14.49
Baidu Bot Disallow	51	8.12
Yandex Bot Disallow	36	5.73
Alexa Bot Disallow	36	5.73
Yahoo Slurp Disallow	34	5.41
Sogou Bot Disallow	34	5.41
Soso Bot Disallow	34	5.41
Microsoft BingBot Disallow	33	5.25
Google Media Partners Disallow	32 *	5.1
Ahrefs Bot Disallow	20	3.18
GPTBot Disallow	12	1.91
Common Crawl Bot Disallow	10	1.59
AppleBot Disallow	8	1.27
Anthropic Claude Bot Disallow	8	1.27
Google Bard Disallow	8	1.27
Facebook Bot Disallow	8	1.27
Apple AI Bot Disallow	8	1.27
Perplexity	8	1.27
Google AdsBot Mobile Apps Disallow	7	1.11
Cohere AI Disallow	7	1.11
Majestic Bot Disallow	7	1.11
Semrush Bot Disallow	6	0.96
ByteDance Bytespider Disallow	1	0.16
Exalead Bot Disallow	1	0.16
Microsoft MSNBot Disallow	1	0.16
Google Image Bot Disallow	1	0.16
360 Bot Disallow	1	0.16
Webz Omgili Disallow	1	0.16
BuiltWithBot Disallow	1	0.16

628 الاكتشافات

ل ملف الروبوتات.txt في توجو. آخر تحديث 29st ربيع الثاني 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.