로봇.txt 사용량 분포 ~에 리비아

핀을 꼽는 로봇.txt 사용량 분포 ~에 리비아

기술	웹사이트	%
Google Media Partners Disallow	68 *	27.98
Robots Disallow	35	14.4
Common Crawl Bot Disallow	12	13.19
GPTBot Disallow	11	12.09
AppleBot Disallow	11	4.53
Anthropic Claude Bot Disallow	11	12.09
Google Bard Disallow	11	12.09
Facebook Bot Disallow	11	12.09
Perplexity	11	12.09
Apple AI Bot Disallow	10	10.99
Cohere AI Disallow	10	10.99
Google AdsBot Mobile Apps Disallow	10	4.12
Ahrefs Bot Disallow	8	3.29
Yandex Bot Disallow	5	2.06
Semrush Bot Disallow	4	1.65
Some Robots Disallow	2	0.82
Soso Bot Disallow	2	0.82
Majestic Bot Disallow	2	0.82
ByteDance Bytespider Disallow	2	2.2
Microsoft BingBot Disallow	1	0.41
Alexa Bot Disallow	1	1.1
Yahoo Slurp Disallow	1	0.41
Exalead Bot Disallow	1	0.41
360 Bot Disallow	1	0.41
Google Image Bot Disallow	1	0.41
BuiltWithBot Disallow	1	0.41

243 탐지

~의 로봇.txt ~에 리비아. 마지막 업데이트 04th 1 2025.

Google Media Partners Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.