Robots.txt

Robots.txt - це текстовий файл, що знаходиться в корені вашого сайту, в якому вказані якісь інструкції для пошукових роботів. Пошукові роботи заходячи на ваш сайт, шукають саме цей файл. Інструкції всередині можуть забороняти індексувати деякі сторінки, файли або ж сам сайт. Так само ці інструкції можуть рекомендувати пошукову роботу, дотримуватися інтервалу скачування файлів з сервера сайту.

Якщо ж robots.txt забороняє індексувати ваш сайт, то це означає, що ваш сайт не потрапить в пошукові системи і не видаватиме при запитах ваш сайт.