로봇.txt 사용량 분포 ~에 에스토니아

핀을 꼽는 로봇.txt 사용량 분포 ~에 에스토니아

기술	웹사이트	%
Googlebot Disallow	4,142	11.9
Majestic Bot Disallow	4,022	11.56
Google AdsBot Disallow	3,401	9.77
Google AdsBot Mobile Disallow	2,629	7.56
Robots Disallow	2,563	7.37
Baidu Bot Disallow	2,039	5.86
Ahrefs Bot Disallow	1,600	4.6
Some Robots Disallow	1,481	4.26
Yandex Bot Disallow	1,081	3.11
Semrush Bot Disallow	832	2.39
GPTBot Disallow	810	2.33
Common Crawl Bot Disallow	793	2.28
Alexa Bot Disallow	769	2.21
Anthropic Claude Bot Disallow	715	2.05
Google AdsBot Mobile Apps Disallow	704	2.02
Google Bard Disallow	692	1.99
AppleBot Disallow	671	1.93
Facebook Bot Disallow	665	1.91
Apple AI Bot Disallow	644	1.85
Cohere AI Disallow	629	1.81
Perplexity	627	1.8
Microsoft BingBot Disallow	570	1.64
Yahoo Slurp Disallow	509	1.46
Sogou Bot Disallow	459	1.32
Soso Bot Disallow	446	1.28
Exalead Bot Disallow	279	0.8
Google Media Partners Disallow	194 *	0.56
Google Image Bot Disallow	154	0.44
Microsoft MSNBot Disallow	130	0.37
Google News Bot Disallow	68	0.2
Google Video Bot Disallow	66	0.19
ByteDance Bytespider Disallow	62	0.18
Google Favicon Disallow	57	0.16
Webz Omgili Disallow	55	0.16
DuckDuckGo Bot Disallow	51	0.15
Google API Bot Disallow	51	0.15
Google DuplexWeb Disallow	47	0.14
360 Bot Disallow	24	0.07
Diffbot Disallow	18	0.05
BuiltWithBot Disallow	15	0.04
YOU Disallow	12	0.03
Pipl Disallow	8	0.02
Youdao Bot Disallow	7	0.02
Google Read Aloud Disallow	3	0.01
Google FeedFetcher Disallow	1	0

34,795 탐지

~의 로봇.txt ~에 에스토니아. 마지막 업데이트 01st 11 2024.

Googlebot Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.