из Роботы.txt в Палау. Последнее обновление 13th фев 2025.
Robots Disallow в настоящее время является самой популярной технологией в этой категории.