ملف الروبوتات.txt توزيع الاستخدام في الولايات المتحدة

ليثبت ملف الروبوتات.txt توزيع الاستخدام في الولايات المتحدة

تكنولوجيا	المواقع الإلكترونية	%
GPTBot Disallow	2,645,515	12.35
Common Crawl Bot Disallow	2,594,532	12.11
Ahrefs Bot Disallow	2,567,854	4.99
Yandex Bot Disallow	2,353,155	4.57
Anthropic Claude Bot Disallow	2,302,787	10.75
Robots Disallow	2,293,472	4.46
Google Bard Disallow	2,253,069	10.51
AppleBot Disallow	2,231,612	4.34
Facebook Bot Disallow	2,231,066	10.41
Google AdsBot Disallow	2,228,653	4.33
Microsoft BingBot Disallow	2,220,779	4.32
Google AdsBot Mobile Apps Disallow	2,197,378	4.27
Alexa Bot Disallow	2,194,081	10.24
Sogou Bot Disallow	2,163,944	4.21
Apple AI Bot Disallow	2,154,214	10.05
Cohere AI Disallow	2,097,869	9.79
Yahoo Slurp Disallow	2,090,598	4.06
Perplexity	2,059,354	9.61
Soso Bot Disallow	1,963,354	3.82
Google AdsBot Mobile Disallow	1,793,020	3.48
Googlebot Disallow	1,468,914	2.86
Majestic Bot Disallow	1,123,110	2.18
Semrush Bot Disallow	988,330	1.92
Baidu Bot Disallow	622,157	1.21
Some Robots Disallow	530,017	1.03
ByteDance Bytespider Disallow	301,980	1.41
Microsoft MSNBot Disallow	271,693	0.53
360 Bot Disallow	255,688	0.5
Exalead Bot Disallow	248,769	0.48
Google Image Bot Disallow	213,648	0.42
Webz Omgili Disallow	209,836	0.98
Google Media Partners Disallow	126,893 *	0.25
BuiltWithBot Disallow	84,057	0.16
Diffbot Disallow	69,228	0.32
Google Video Bot Disallow	55,905	0.11
Google News Bot Disallow	55,790	0.11
Youdao Bot Disallow	52,022	0.1
Google Favicon Disallow	41,439	0.08
DuckDuckGo Bot Disallow	35,345	0.07
YOU Disallow	15,770	0.07
Google API Bot Disallow	12,949	0.03
Google DuplexWeb Disallow	12,494	0.02
Pipl Disallow	11,228	0.02
Google FeedFetcher Disallow	6,113	0.01
Google Read Aloud Disallow	215	0
Google Web Light Disallow	49	0
Google BIG Bench Disallow	17	0

51,449,962 الاكتشافات

ل ملف الروبوتات.txt في الولايات المتحدة. آخر تحديث 12th جمادى الأولى 2024.

GPTBot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.