Локальная текстовая утилита

Инспектор robots.txt

Проверяйте вставленные robots.txt директивы и частые crawl-blocking сигналы локально.

Текст обрабатывается в вашем браузере. Он не загружается на этот сайт.