ملف الروبوتات.txt توزيع الاستخدام في الجابون

ليثبت ملف الروبوتات.txt توزيع الاستخدام في الجابون

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	35	22.15
GPTBot Disallow	10	12.66
Common Crawl Bot Disallow	9	11.39
Anthropic Claude Bot Disallow	9	11.39
Google Bard Disallow	9	11.39
Facebook Bot Disallow	9	11.39
Cohere AI Disallow	9	11.39
AppleBot Disallow	8	5.06
Google AdsBot Mobile Apps Disallow	8	5.06
Apple AI Bot Disallow	8	10.13
Perplexity	8	10.13
Ahrefs Bot Disallow	7	4.43
Yahoo Slurp Disallow	4	2.53
Yandex Bot Disallow	3	1.9
Microsoft BingBot Disallow	3	1.9
Alexa Bot Disallow	3	3.8
Sogou Bot Disallow	3	1.9
Soso Bot Disallow	3	1.9
Majestic Bot Disallow	3	1.9
Semrush Bot Disallow	2	1.27
ByteDance Bytespider Disallow	2	2.53
Microsoft MSNBot Disallow	1	0.63
Webz Omgili Disallow	1	1.27
Diffbot Disallow	1	1.27

158 الاكتشافات

ل ملف الروبوتات.txt في الجابون. آخر تحديث 12th جمادى الأولى 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.