E
evgenov-vasiliy
New Member
Предоставляю на суд общественности:
1) Список IP адресов сканирующих ботов различных копирайтеров (markminitor.com, ruprotect.com, group-ib.ru) и прочих нахлебников.
2) Список IP адресов персон, жалующихся на email администрации моих сайтов по поводу нарушения авторского права тех или иных персон, и просящих об удалении нарушающих авторское право материалов.
Описываю способ (алгоритм) получения списков.
1) Каким образом определить бота и отличить его от "живого" пользователя? Ну хотя бы по тому признаку, что бот в 99% случаев грузит __ТОЛЬКО__ страницы, и почти никогда не грузит картинки, css стили и java скрипты.
2) Тут алгоритм посложнее. При каждой жалобе все IP (а точнее строки лога), содержащие обращение к URL, на который жалуются помечаеться "черной меткой". Далее при наборе 5 "черных меток" IP адрес заноситься в бан.
Просьба ногами сильно не пинать, адекватная критика приветствуется.
1) Список IP адресов сканирующих ботов различных копирайтеров (markminitor.com, ruprotect.com, group-ib.ru) и прочих нахлебников.
2) Список IP адресов персон, жалующихся на email администрации моих сайтов по поводу нарушения авторского права тех или иных персон, и просящих об удалении нарушающих авторское право материалов.
Описываю способ (алгоритм) получения списков.
1) Каким образом определить бота и отличить его от "живого" пользователя? Ну хотя бы по тому признаку, что бот в 99% случаев грузит __ТОЛЬКО__ страницы, и почти никогда не грузит картинки, css стили и java скрипты.
2) Тут алгоритм посложнее. При каждой жалобе все IP (а точнее строки лога), содержащие обращение к URL, на который жалуются помечаеться "черной меткой". Далее при наборе 5 "черных меток" IP адрес заноситься в бан.
Просьба ногами сильно не пинать, адекватная критика приветствуется.
Вложения
-
48,4 KB Просмотры: 19.196
-
34,4 KB Просмотры: 1.118