из ИИ-бот в Австралии. Последнее обновление 13th фев 2025.
Common Crawl Bot Disallow в настоящее время является самой популярной технологией в этой категории.