Программа для поиска дублирующихся файлов. Дубликаты файлов на компьютере — зачем они Вам

Доброго времени суток.

Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…

Список программ для поиска дубликатов

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

DupKiller

Эту программу я поставил на первое место по ряду причин:

• поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
• высокая скорость работы;
• бесплатная и с поддержкой русского языка;
• очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

M usic Duplicate Remover

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

A

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

ImageDupeless

Сравнительно небольшая утилита с довольно неплохими показателями поиска и устранения дублей картинок. Программа сканирует все изображения в папке, а затем сравнивает их между собой. В результате вы увидите список картинок, которые похожи друг на друга и сможете сделать вывод о том, какую из них оставить, а какую удалить. Очень полезно, иногда, прореживать свои архивы фото.

Пример работы ImageDupeless

Кстати, вот небольшой пример личного испытания:

• подопытные файлы: 8997 файлов в 95 каталогах, 785Мб (архив картинок на флешке (USB 2.0) - gif и jpg форматы)
• галерея заняла: 71.4Мб
• время создания: 26 мин. 54 сек.
• время сравнения и вывода результатов: 6 мин. 31 сек.
• результат: 961 похожее изображение в 219 группах.

Image Comparer

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Большинству пользователей (да, в общем-то и мне 🙂), такое положение дел не нужно: просто отнимает место на винчестере. Благодаря парочке утилит ниже, вы сможете очистить диск от одинаковых видео…

Здравствуйте Уважаемый Друг.

При работе с файлами и документами, мы достаточно часто делаем резервные копии важных данных. В одной папке в другой в третьей… А потом даже забываем сколько копий того или иного файла мы сделали и где на диске они хранятся.

В результате свободное дисковое пространство отъедается ненужными копиями файлов и папок. Как же найти дубликаты файлов на всех ваших дисках и удалить их?

Всё очень просто, мы воспользуемся небольшой бесплатной утилитой с поддержкой русского языка – Soft4Boost Dup File Finder .

Скачать программу можно тут:

После установки программы откроется главное окно:

Если мы поставим галочку напротив пункта «Игнорировать имена файлов», то при поиске не будет использоваться совпадение имён файлов, поиск будет происходить по внутреннему содержанию файла. Это очень важно, ведь одинаковые файлы могут называться по-разному. Благо все подсказки в программе на русском языке.

Чуть ниже можно выбрать тип файлов для поиска дубликатов.

Выбираем нужные диски или отдельные папки (по нажатию на плюсики). Затем нужно нажать на изображение папки со стрелочкой вправо, чтобы добавить нужный список папок для сканирования программой.

В этом окошке выбираем способ удаления файлов. Первый вариант в корзину с возможностью восстановления. Нужно помнить, что размер корзины ограничен. Для того чтобы увеличить размер корзины, зайдите в свойства значка корзины на рабочем столе и установите размер в мегабайтах.

Также можно выбрать вариант безвозвратно, но я рекомендую сначала удалять в корзину. Если что то не так, то всегда можно восстановить файл.

Нажимаем кнопку «Поиск».

После того как сканирование закончится перед вами откроется окошко с найденными дубликатами файлов.

Выберите галочками файлы, которые нужно удалить и нажмите на кнопку в верхней части окна «Исправить проблемы», выбранные дубликаты удаляться.

Вот таким простым способом можно избавиться от многочисленных дубликатов файлов на ваших дисках.

Из минусов программы я бы отметил невозможность просмотра найденных файлов по нажатию двойным кликом мыши. Было бы очень удобно сразу же просмотреть файл и вспомнить, что это за файл такой.

P.S. Делитесь статьёй со своими друзьями в социальных сетях, все необходимые кнопки ниже. Чем больше людей меня читает, тем больше полезных материалов выходит.

Ну и, конечно же, не забывайте подписываться на мой YouTube канал: http://www.youtube.com/user/ArtomU

Вступайте в группу Вконтакте:

Здравствуйте дорогие читатели. Сегодня мы с вами поговорим о дубликатах файлов, а также о методах борьбы с ними.

Исходя из самого названия вы, наверное, уже догадались, что это за файлы. Такие вот повторяющиеся файлы очень загрязняют жесткий диск, поэтому от них нужно периодически избавляться.

Дубликаты появляются на компьютере произвольно и из-за невнимательности пользователей. Хотя все мы люди и нам свойственно накапливать всякую всячину. Какой бы большой объем памяти не имел ваш жесткий диск – после удалению дубликатов он станет намного свободнее, нежели был до совершения этого процесса.

К большому сожалению, удаление дубликатов файлов невозможно произвести без посторонних программ. Разработчики Windows почему-то упустили этот момент, но люди нашли выход. В интернете есть масса бесплатных программ для избавления от дублирующих файлов. Ниже я приведу три лучшие из них, а также дам вам возможность их скачать.

CloneSpy

Очень простая и удобная утилита для очистки вашего компьютера от дубликатов файлов. После запуска CloneSpy производит поиск по контрольным суммам файлов, игнорируя при этом дату и время их создания, размер и т.д. Такой метод поиска дубликатов файлов позволяет сделать более точный и детальный поиск.

Но CloneSpy имеет также и минус, поскольку в результатах поиска, помимо копий может отобразить файлы с одинаковым именем.

Скачать бесплатно утилиту CloneSpy

Auslogics Duplicate File Finder

Более мощная программа поиска файлов-дублей. Делает детальный анализ жесткого диска на наличие одинаковых файлов, в конце которого вы получите список со всеми найденными дубликатами.

Я заметил, что Auslogics Duplicate File Finder хорошо специализируется на поиске мультимедийных файлов-дублей, а это гигабайты одинаковых музыкальных треков, фильмов, картинок и т.д.

Скачать бесплатно программу Auslogics Duplicate File Finder

DupKiller

Тоже очень хорошая программа для поиска и удаления дубликатов файлов. Очень понравилась функция установки процента допустимого совпадения, который вы можете установить вручную перед запуском анализа жесткого диска.

Не все файлы-дубликаты, найденные в CCleaner, можно удалять. Следует запомнить это и пользоваться этим инструментом разумно и с осторожностью.

Программа ищет дубли по следующим критериям: имя, размер, дата и содержимое. По умолчанию отмечены имя, размер и дата. Найдите все одинаковые файлы по этим параметрам на вашем компьютере.

Через несколько секунд, после нажатия на кнопку «Найти » появятся результаты. Посмотрите на них внимательно.

Если вы видите дубликаты файлов библиотек (.dll), файлы в папке Program Files, файлы с неизвестными вам расширениями, то не трогайте их!

Если не знаете, что это за файлы, зачем они нужны и откуда появились, то их лучше не трогать (чтобы не нарушить работоспособность установленных на компьютере программ).

Ищите только знакомые вам файлы, те, которые попали на компьютер благодаря вашему участию. Например, фильм, фото, песня, реферат и т.п. Видите, что у вас на рабочем столе, в «Моих документах», и еще в какой-то папке лежит один и тот же реферат? Значит можно удалить все его копии кроме одной (если, конечно, вы не осознанно их создавали в рамках резервного копирования на разных дисках).

Если файл, чьи дубликаты вы собираетесь удалять, важный, откройте содержащую его папку и проверьте вручную, действительно ли это 2 копии одного и того же файла, не ошиблась ли программа (что бывает крайне редко, но в случае важных документов лучше перестраховаться). Чтобы открыть эту папку щелкните правой кнопкой мыши по нужному найденному файлу и выберите «Открыть папку ».

Убедившись, что копии можно удалить (или если не стали этого делать, а просто уверены в этом), отметьте их галочками и нажмите кнопку удаления.

Также можно поступить с другими вашими найденными файлами. Любимая песня скопирована 5 раз и хранится в разных папках? Каждая копия весит 10 мегабайт, в общем получается 50! В топку их! Оставьте одну, в папке с остальной вашей музыкой, а остальные можно и удалить, освободив драгоценное место для других файлов.

Помните одно: Поиск и удаление дублей в CCleaner - это не полностью автоматический инструмент. Поиск происходит в авто-режиме, а решение об удалении вы принимаете «вручную». Поэтому будьте внимательны в этом деле.

Чего только не хранится на жестком диске! Копии и копии копий, созданные на всякий случай, постепенно расходятся по разным папкам, и вот мы уже забываем об их существовании. Если вы решили навести порядок и освободить место, удалив ненужные повторяющиеся файлы, на помощь придут специальные утилиты для Windows (большинство подобных программ бесплатны).

Duplicate Remover Free

Программа имеет достаточно простой интерфейс, но предоставляет немало возможностей. Duplicate Remover Free позволяет искать файлы с одинаковым размером и именем, а также повторяющиеся изображения и копии документов. Можно просканировать на наличие дубликатов целый раздел диска или исключить из поиска отдельные директории (например, каталоги с резервными копиями или системные папки). Также поиск одинаковых звуковых файлов и видеозаписей может производиться по тэгам файлов (что может быть полезно, например, при обновлении домашней фонотеки).

Duplicate File Finder

Программа Duplicate File Finder от компании Auslogics обладает похожей функциональностью. Утилита умеет находить повторяющиеся файлы всех типов. Кроме того, она может искать только копии звуковых файлов, изображений или видеозаписей – таким образом, системные файлы гарантированно останутся в безопасности.

AllDup

AllDup – еще одна программа, которую также нельзя обойти вниманием. Эта мощная бесплатная утилита для Windows позволяет искать повторяющиеся файлы по нескольким параметрам: одинаковое имя, одинаковый размер, повторяющееся время создания и т.д. У предположительно одинаковых файлов программа проверяет контрольные суммы (можно выбрать алгоритм вычисления в настройках), поэтому вероятность удаления разных файлов одного размера нулевая. Также утилита умеет искать похожие изображения в форматах JPG, PNG и т.д. Это может быть полезно при удалении копий из домашнего фотоархива (например, дублей одного и того же снимка – с рамкой и без). AllDup распространяется и в виде классического инсталлятора, и в виде переносной версии, не требующей установки.

DupeGuru

Эту утилиту можно порекомендовать любителям кроссплатформенных решений. Программа выпускается в виде пакетов для Ubuntu и Mac OS X (существует неофициальная версия для Windows 7, которая вполне работоспособна и в более поздних версиях ОС). Пользоваться ей довольно просто: выбираем директорию, в которой ищем копии файлов, и запускаем сканирование. Через некоторое время программа найдет дубликаты файлов, и вы сможете их удалить.

Windows «Очистка диска»

Не забываем и про стандартную программу Windows, которая поможет освободить немного места. Эта утилита не ищет повторяющиеся файлы, но может удалить из системы некоторую устаревшую и ненужную информацию.

1. Чтобы запустить ее, нажимаем комбинацию клавиш Win+R, пишем в поле ввода cleanmgr.exe и кликаем на кнопку ОК.

2. Выбираем диск, который хотим очистить.

3. Отмечаем флажками нужные пункты (практически всегда можно без опаски удалять временные файлы, эскизы, кэш построителя текстуры DirectX) и нажимаем ОК.

4. Через несколько секунд (или пару минут – зависит от производительности компьютера и количества файлов) ненужная информация будет удалена.

В современных версиях Windows можно воспользоваться и другими встроенными средствами системы. Например, можно запустить PowerShell, перейти в нужную вам директорию командой cd и выполнить такой скрипт:

ls *.* -recurse | get-filehash | group -property hash | where { $_.count -gt 1 } | % { $_.group | select -skip 1 } | ls

Через некоторое время после начала работы PowerShell выведет на экран список файлов одинакового размера. Если заменить последнюю команду ls на del, то файлы будут сразу удалены (но лучше просмотреть список и удалить все ненужное вручную, чтобы случайно не уничтожить полезную информацию).

Однако хочется напомнить – собственноручно удалять дублирующиеся файлы из системных директорий диска C (Program Files, Program Files (x86), Windows и т.п.) крайне нежелательно. Результатом подобной «очистки» диска может стать неработоспособность операционной системы. То же касается удаления файлов из каталогов /etc, /bin, /usr в UNIX-подобных системах. Особую осторожность следует проявлять при удалении файлов с использованием прав администратора (или root’а). И, конечно, не стоит забывать про бэкапы – небольшая вероятность случайного удаления нужной информации существует всегда, поэтому лучше подстраховаться.