ملف الروبوتات.txt توزيع الاستخدام في السويد

ليثبت ملف الروبوتات.txt توزيع الاستخدام في السويد

تكنولوجيا	المواقع الإلكترونية	%
Google AdsBot Disallow	48,784	11.68
Googlebot Disallow	37,223	8.91
Google AdsBot Mobile Disallow	34,936	8.36
Ahrefs Bot Disallow	25,555	6.12
GPTBot Disallow	17,221	13.8
Baidu Bot Disallow	16,595	3.97
Common Crawl Bot Disallow	15,390	12.33
Robots Disallow	13,873	3.32
Anthropic Claude Bot Disallow	13,698	10.98
Google Bard Disallow	13,220	10.6
Google AdsBot Mobile Apps Disallow	13,185	3.16
Facebook Bot Disallow	13,028	10.44
AppleBot Disallow	12,812	3.07
Majestic Bot Disallow	12,713	3.04
Apple AI Bot Disallow	12,551	10.06
Cohere AI Disallow	12,350	9.9
Perplexity	12,202	9.78
Yandex Bot Disallow	11,926	2.86
Yahoo Slurp Disallow	10,600	2.54
Semrush Bot Disallow	10,435	2.5
Alexa Bot Disallow	10,042	8.05
Microsoft BingBot Disallow	9,754	2.34
Sogou Bot Disallow	9,723	2.33
Some Robots Disallow	8,088	1.94
Soso Bot Disallow	8,077	1.93
Microsoft MSNBot Disallow	2,561	0.61
Exalead Bot Disallow	1,850	0.44
Google Media Partners Disallow	1,745 *	0.42
Google Image Bot Disallow	1,035	0.25
Webz Omgili Disallow	1,012	0.81
DuckDuckGo Bot Disallow	1,011	0.24
ByteDance Bytespider Disallow	835	0.67
Google Video Bot Disallow	599	0.14
Google News Bot Disallow	591	0.14
Google Favicon Disallow	477	0.11
Google API Bot Disallow	428	0.1
Google DuplexWeb Disallow	426	0.1
360 Bot Disallow	384	0.09
Diffbot Disallow	281	0.23
YOU Disallow	231	0.19
BuiltWithBot Disallow	182	0.04
Pipl Disallow	48	0.01
Youdao Bot Disallow	16	0
Google FeedFetcher Disallow	5	0
Google Read Aloud Disallow	2	0

417,700 الاكتشافات

ل ملف الروبوتات.txt في السويد. آخر تحديث 29st ربيع الثاني 2024.

Google AdsBot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.