Duplicate Cleaner Pro - небольшая утилита для Windows, которая после запуска сможет отыскать и потом удалить одинаковые файлы в вашей системе. Программа имеет неплохой встроенный мастер, с его помощью можно произвести углубленный поиск в системе файлов дубликатов разных типов, например аудио или видео, фото или текстовых документов. Приложение обладает фильтрами, которые позволят проводить поиск например по названию, тегам, расширениям файлов. Duplicate Cleaner использует при сканировании алгоритм MD5 Hash. Искать файлы можно будет как на своем компьютере так и на других в вашей сети.

Как известно всем оптимизаторам в последнее время ЯНДЕКС стал очень строго относится к дублям на сайтах, за одинаковые новости можно уже легко угодить
под его фильтры или выпасть вообще с индекса.
Как не стараешся втолковать это умникам журналистам, толку практически нет!
Так вот в связи с этим возникла необходимость написать новый модуль по поиску повторов в архивах новостей на сайте.

Да и люди просили сделать что то подобное, пробовали искать в интернете, есть скрипты какие удаляют все дубли сразу, с запуском из браузера,
но что то неочень это всех устраивает, я считаю что админ должен видеть сам что он удаляет и какие новости будут удалены и стоит ли их удалять вообще с сайта.