Как известно всем оптимизаторам в последнее время ЯНДЕКС стал очень строго относится к дублям на сайтах, за одинаковые новости можно уже легко угодить
под его фильтры или выпасть вообще с индекса.
Как не стараешся втолковать это умникам журналистам, толку практически нет!
Так вот в связи с этим возникла необходимость написать новый модуль по поиску повторов в архивах новостей на сайте.

Да и люди просили сделать что то подобное, пробовали искать в интернете, есть скрипты какие удаляют все дубли сразу, с запуском из браузера,
но что то неочень это всех устраивает, я считаю что админ должен видеть сам что он удаляет и какие новости будут удалены и стоит ли их удалять вообще с сайта.