로봇.txt 사용량 분포 ~에 안도라

핀을 꼽는 로봇.txt 사용량 분포 ~에 안도라

기술	웹사이트	%
Googlebot Disallow	220	13.78
Google AdsBot Disallow	184	11.52
Google AdsBot Mobile Disallow	157	9.83
Some Robots Disallow	112	7.01
Robots Disallow	93	5.82
Baidu Bot Disallow	68	4.26
Ahrefs Bot Disallow	61	3.82
Yandex Bot Disallow	57	3.57
Alexa Bot Disallow	53	3.32
Yahoo Slurp Disallow	47	2.94
GPTBot Disallow	41	2.57
Microsoft BingBot Disallow	39	2.44
Anthropic Claude Bot Disallow	38	2.38
Soso Bot Disallow	37	2.32
Common Crawl Bot Disallow	35	2.19
AppleBot Disallow	35	2.19
Google Bard Disallow	34	2.13
Facebook Bot Disallow	34	2.13
Apple AI Bot Disallow	34	2.13
Perplexity	34	2.13
Google AdsBot Mobile Apps Disallow	34	2.13
Cohere AI Disallow	33	2.07
Majestic Bot Disallow	30	1.88
Semrush Bot Disallow	28	1.75
Google Media Partners Disallow	16 *	1
Microsoft MSNBot Disallow	12	0.75
ByteDance Bytespider Disallow	7	0.44
Exalead Bot Disallow	5	0.31
Google Image Bot Disallow	5	0.31
Youdao Bot Disallow	4	0.25
Webz Omgili Disallow	2	0.13
Diffbot Disallow	1	0.06
Google News Bot Disallow	1	0.06
Google Video Bot Disallow	1	0.06
YOU Disallow	1	0.06
DuckDuckGo Bot Disallow	1	0.06
Google Favicon Disallow	1	0.06
Google API Bot Disallow	1	0.06
Google DuplexWeb Disallow	1	0.06

1,597 탐지

~의 로봇.txt ~에 안도라. 마지막 업데이트 04th 1 2025.

Googlebot Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.