ملف الروبوتات.txt توزيع الاستخدام في بنين

ليثبت ملف الروبوتات.txt توزيع الاستخدام في بنين

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	120	30.61
Googlebot Disallow	59	15.05
Ahrefs Bot Disallow	29	7.4
Yandex Bot Disallow	18	4.59
Majestic Bot Disallow	15	3.83
Microsoft BingBot Disallow	12	3.06
Alexa Bot Disallow	12	3.06
Semrush Bot Disallow	12	3.06
Yahoo Slurp Disallow	10	2.55
Sogou Bot Disallow	10	2.55
Soso Bot Disallow	10	2.55
GPTBot Disallow	10	2.55
Common Crawl Bot Disallow	9	2.3
Google AdsBot Mobile Apps Disallow	8	2.04
Google Bard Disallow	7	1.79
AppleBot Disallow	6	1.53
Anthropic Claude Bot Disallow	6	1.53
Facebook Bot Disallow	6	1.53
Apple AI Bot Disallow	6	1.53
Cohere AI Disallow	6	1.53
Perplexity	6	1.53
Google Image Bot Disallow	3	0.77
Exalead Bot Disallow	2	0.51
Microsoft MSNBot Disallow	1	0.26
360 Bot Disallow	1	0.26
Google News Bot Disallow	1	0.26
Google Video Bot Disallow	1	0.26
DuckDuckGo Bot Disallow	1	0.26
Google Favicon Disallow	1	0.26
Youdao Bot Disallow	1	0.26
Google API Bot Disallow	1	0.26
Google DuplexWeb Disallow	1	0.26
Pipl Disallow	1	0.26

392 الاكتشافات

ل ملف الروبوتات.txt في بنين. آخر تحديث 12th جمادى الأولى 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.