из Роботы.txt в Мавритания. Последнее обновление 14th ноя 2024.
Robots Disallow на данный момент является самой популярной технологией в этой категории.