из Роботы.txt в 1 миллионе лучших сайтов. Последнее обновление 01st ноя 2024.
Google Media Partners Disallow на данный момент является самой популярной технологией в этой категории.