из Роботы.txt в Чаде. Последнее обновление 13th фев 2025.
Robots Disallow в настоящее время является самой популярной технологией в этой категории.