Направляется уведомление о признании сайта в сети «Интернет» копией заблокированного сайта.

[zloymudvin]

Как бороться с таким? РКН отвечает что мол это не они а Мин. цифры банят, а они только исплнители.
Изначально забанили по суду, чет там за неоднократное бла, бла, бла.
Они меня уже одолели своими банами за зеркала. Я даже им заяву кинул, они только через полгода ответили стандартной отпиской.

Пока 301 редиректом переезжа. на новый домен и в webmaset yandex переезд делаю

 

[moder]

У них есть бот, который регулярно проверяет заблокированный сайт на наличие 301 редиректа.
Как бороться? Отлавливать этих ботов и давать им ошибку 404.

Расписывать механизм пока не буду, но могу дать наводку.

Например, так можно определить поискового бота.

function isSearchBot()
{
  $bots = array('Google'=>array('.googlebot.com', '.google.com'), 'Yandex'=>array('.yandex.com', '.yandex.ru', '.yandex.net'), 'mail.ru'=>array('.mail.ru'), 'msn.com'=>array('.msn.com'), 'bing.com'=>array('.msn.com'));

  $iphost=gethostbyaddr($_SERVER['REMOTE_ADDR']);

  foreach($bots as $u=>$h)
  {
      if( strpos($_SERVER['HTTP_USER_AGENT'], $u) == true )
      {

         foreach($h as $host)
         {
             if (substr($iphost, -strlen($host) )==$host) return true;
         }

         return false;
     }
  }

  return false;
}

 

[zloymudvin]

У них есть бот, который регулярно проверяет заблокированный сайт на наличие 301 редиректа.
Как бороться? Отлавливать этих ботов и давать им ошибку 404.

Расписывать механизм пока не буду, но могу дать наводку.

Например, так можно определить поискового бота.

function isSearchBot()
{
  $bots = array('Google'=>array('.googlebot.com', '.google.com'), 'Yandex'=>array('.yandex.com', '.yandex.ru', '.yandex.net'), 'mail.ru'=>array('.mail.ru'), 'msn.com'=>array('.msn.com'), 'bing.com'=>array('.msn.com'));

  $iphost=gethostbyaddr($_SERVER['REMOTE_ADDR']);

  foreach($bots as $u=>$h)
  {
      if( strpos($_SERVER['HTTP_USER_AGENT'], $u) == true )
      {

         foreach($h as $host)
         {
             if (substr($iphost, -strlen($host) )==$host) return true;
         }

         return false;
     }
  }

  return false;
}

к сожалению тоже не работает(
остаются только постояннно делать редиректы на новый домен/поддомен

 

[Master]

А как вы определяете бота? )
Только поискового бота можно определить средствами PHP (и то не со 100% гарантией). Остальных ботов можно определить только средствами JS.
То есть редирект надо кидать через JS.

 

[zloymudvin]

я на CDN настроил правила, весь траффик у которого в user_agent есть https: или http: заблокировал
и сделал исключение для ботов поисковиков

 

[Master]

Так можно заблокировать только тех ботов, которые представляются. Еще строку "curl" внесите.
Но роскомнадзоровские боты косят под обычных пользователей.

 

[zloymudvin]

Так можно заблокировать только тех ботов, которые представляются. Еще строку "curl" внесите.
Но роскомнадзоровские боты косят под обычных пользователей.

а дургих вариантов то и нет, если они как пользователи то их и не отличишь никак

 

[Master]

Отличишь, но только через JS скрипт.
Вот, например.