← All posts tagged nginx

Melhior

занимаюсь фигней. закрываю часть сайта не только на уровне robots.txt но и напрямую прописывая 404 для ботов в локейшенах nginx'а...

не все боты следуют robots.txt :(