Как известно всем оптимизаторам в последнее время ЯНДЕКС стал очень строго относится к дублям на сайтах, за одинаковые новости можно уже легко угодить
под его фильтры или выпасть вообще с индекса.
Как не стараешся втолковать это умникам журналистам, толку практически нет!
Так вот в связи с этим возникла необходимость написать новый модуль по поиску повторов в архивах новостей на сайте.

Да и люди просили сделать что то подобное, пробовали искать в интернете, есть скрипты какие удаляют все дубли сразу, с запуском из браузера,
но что то неочень это всех устраивает, я считаю что админ должен видеть сам что он удаляет и какие новости будут удалены и стоит ли их удалять вообще с сайта.

Наверное, в жизни каждого админа всегда в первую очередь встает вопрос о выборе качественного хостинг провайдера.
К этому вопросу, по моему мнению, надо подходить со всей серьезностью и никуда не спешить, так как при спешке могут возникнуть очень не приятные последствия.
что со мной и произошло со всем известным хостером по кличке "IPhoster.ru"!