Как сравнить контрольные суммы образа: Проверка образа ISO — Документация Linux Mint Installation Guide

Содержание

Проверка образа ISO — Документация Linux Mint Installation Guide

Важно убедиться в целостности и подлинности вашего образа ISO.

Проверка целостности подтверждает, что образ ISO был скачан правильно, и ваш локальный файл является точной копией файла на серверах загрузки. Ошибка во время скачивания может привести к повреждению файла и вызвать различные ошибки во время установки системы.

Проверка подлинности (аутентичности) подтверждает, что скачанный образ ISO был действительно подписан Linux Mint, то есть это не какая-то модифицированная или вредоносная копия, сделанная кем-то другим.

Загрузите контрольные суммы SHA256, предоставленные Linux Mint

Все зеркала загрузки предоставляют образы ISO, файл sha256sum.txt и файл sha256sum.txt.gpg. Эти файлы можно найти в том же месте, откуда вы загружаете образ ISO.

Если вы не можете найти их, перейдите на зеркало загрузки Heanet и щёлкните на версии выпуска Linux Mint, который вы загрузили.

Загрузите sha256sum.txt и sha256sum.txt.gpg.

Do not copy their content, use «right-click->Save Link As…» to download the files themselves and do not modify them in any way.

Проверка целостности

Для проверки целостности вашего ISO-файла сгенерируйте его контрольную сумму SHA256 и сравните её с контрольной суммой в файле sha256sum.txt.

sha256sum -b yourfile.iso

Если суммы совпадают, значит образ ISO был загружен успешно. Если не совпадают, попробуйте загрузить его снова.

Проверка подлинности

Для проверки подлинности sha256sum.txt проверьте подпись sha256sum.txt.gpg, как описано ниже.

Импортируйте ключ подписи Linux Mint:

gpg --keyserver hkp://keyserver.ubuntu.com:80 --recv-key "27DE B156 44C6 B3CF 3BD7  D291 300F 846B A25B AE09"

Примечание

Если gpg жалуется на идентификатор ключа, попробуйте следующие команды:

gpg --keyserver hkp://keyserver.ubuntu.com:80 --recv-key A25BAE09
gpg --list-key --with-fingerprint A25BAE09

Check the output of the last command, to make sure the fingerprint is 27DE B156 44C6 B3CF 3BD7 D291 300F 846B A25B AE09 (with or without spaces).

Проверьте подлинность sha256sum.txt:

gpg --verify sha256sum.txt.gpg sha256sum.txt

Вывод последней команды должен сказать Вам, что файл подписи хороший и что он был подписан с помощью ключа A25BAE09.

Примечание

GPG может предупредить Вас, что подпись Linux Mint не является доверенной для Вашего компьютера. Это ожидаемо и вполне нормально.

Подсказка

Для получения дополнительной информации о проверке ISO, или для проверки BETA, LMDE или старых версий, прочитайте Как проверить ISO образы.

Как проверить MD5 хеш-сумму файла в Windows. Как проверить контрольные суммы ISO образа

Инструкция

Найдите в Total Commander файл, контрольную сумму которого необходимо проверить. Запустите Total Commander. В одной из панелей смените текущий диск на тот, искомый файл. Для этого можно воспользоваться кнопками или выпадающим списком, расположенным на верхней инструментальной панели. Совершая двойные клики по пунктам списка листинга директорий, перейдите в каталог с нужным файлом. Выделите его в списке.

Откройте диалог настройки параметров расчета контрольных сумм файлов. Для этого в главном меню приложения разверните раздел «Файл», а затем кликните по пункту «Создать SFV-файл контрольных сумм (CRC)…».

Настройте параметры формирования контрольных сумм. В диалоге «Создание SFV-файлов контрольных сумм (CRC)» установите флажок «MD5», если хотите, чтобы результатом расчета контрольной суммы файла являлся MD5-хеш (большинство контрольных сумм, публикуемых в интернете, являются именно MD5-хешами). Снимите флажок «Для каждого файла создать отдельный SFV-файл». В поле «Сохранить файл(ы) контрольных сумм как:» введите путь и имя файла, в который будет помещен результат расчета контрольной суммы.

Рассчитайте контрольную сумму файла. В диалоге «Создание SFV-файлов контрольных сумм (CRC)» нажмите кнопку «OK». Начнется процесс вычисления контрольной суммы. Ход процесса будет отображаться индикатором прогресса в появившемся окне. Если объем исходного файла велик, контрольной суммы может занять продолжительное время. Дождитесь окончания операции.

Проверьте контрольную сумму файла. Откройте созданный файл контрольных сумм в текстовом редакторе или просмотрщике. В частности, можно воспользоваться встроенной в Total Commander функцией просмотра. Для этого выделите сгенерированный файл контрольных сумм в панели Total Commander и нажмите клавишу F3. В файле будет содержаться строка, структурно состоящая из двух частей. Первая ее часть, расположенная до знака «*», является символическим представлением контрольной суммы файла. Сравните эту строку с известным значением контрольной суммы.

Сверка контрольной суммы необходима для того, чтобы проверить целостность и полноту передачи данных при скачивании документов по каналам связи. Особенно это важно при загрузке дистрибутива операционной системы Windows. Это позволит избежать ошибок в работе системы и обезопасить себя от пиратских копий и вирусов.

Инструкция

Перейдите на официальный сайт документа, программного обеспечения или операционной системы, которую загрузили на свой компьютер. В разделе сведений о файле можно найти значение контрольной суммы, которое обозначается также как SHA1. Сохраните данный набор символов в отдельный текстовый файл или перепишите на лист бумаги.

Загрузите утилиту HashTab. Данная программа распространяется на многих специализированных компьютерных сайтах, поэтому ее достаточно легко найти в сети. Однако лучше всего воспользоваться официальным источником http://hashtab.ru/, чтобы обезопасить свой компьютер от различных вирусов. На всякий случай проверьте скачанный файл антивирусом. Программное обеспечение выполнено в двух версиях, одна предназначена для ОС Windows, а вторая – для Mac.

Установите программу на свой компьютер. Перейдите к проверяемому файлу и нажмите на него правой кнопкой мышки. Если у вас установлена операционная система Windows, то перейдите в раздел «Свойства» и выберите вкладку «Хеш-суммы файлов». Если вы пользуетесь ОС Mac, то выберите раздел File Hashes и нажмите на More. Если данных вкладок нет, значит вы неправильно установили HashTab.

В наш цифровой век, даже один жалкий байт может стоить много. Если в файле ISO образа недостает хотя бы байта, то польза от подобного файла будет сомнительной. В один прекрасный момент, когда вы захотите проинсталлировать себе новую операционную систему, процесс прервется на определенном этапе установки, из-за того, что образ оказался битым. Поэтому любой ISO файл следует просканировать на целостность, перед тем как прожечь его на болванку. Таким образом, вы экономите свое драгоценное время и предостерегаете себя от нелепых казусов, возникших в процессе использования дисков на которых был записан тот или иной ISO образ. И еще один важный момент, битым ISO образ может оказать как по причине, не зависящей от вас – например, сам файл был загружен автором уже битым. А также по причине нестабильности вашего интернет соединения, что в итоге привело к утрате данных при скачивании файла на ваш компьютер.

Для сканирования контрольной суммы ISO образа, вам следует последовательно выполнить следующие шаги. Подробно описывать нет смысла, так как программа довольно простая и не требует глубоких познаний и серьезного описания. Однако давайте пошагово:

Ищем на просторах всемирной паутины программу HashTab (или ей аналогичную программу, предназначенную для проверки контрольных сумм (или хеш-сумм) ISO образов), загружаем ее себе на компьютер и инсталлируем. Скачать программу можно, например, отсюда http://www.softportal.com/get-19546-hashtab.html , либо с официального сайта. Процесс установки достаточно простой и не требует описания;

Далее жмем правой клавишей мыши на файл ISO образа и выбираем из всплывающего контекстного меню пункт «Свойства», где будет располагаться, новая вкладка, созданная программой HashTab;
Переходим во вкладку «Хеш-суммы файлов», там будет указана хеш-сумма скачанного файла. Эта сумма является контрольной для того файла который вы скачали и даже в случае его нецелостности, он все равно будет иметь контрольную сумму;

Копируем хеш-сумму из описания к ISO файлу (обычно, в теме, откуда вы скачиваете файл, указывается контрольная сумма ISO образа, так же контрольная сумма должно присутствовать на обратном обороте диска, если образ скопирован с диска и если диск является лицензионным), вставляем ее в поле «Сравнение хеша» и нажимаем кнопку «Сравнить файл…».

Готово! Таким образом, мы узнаем, совпадают ли контрольные суммы, и убедимся в готовности ISO образа для прожига. Если контрольные суммы разнятся, то необходимо скачать ISO файл заново и еще раз проверить его целостность. Если окажется, что ISO образ, скачанный повторно все равно битый, то лучше вам поискать на просторах интернета другой образ и желательно от другого автора.

Самое интересно, что программа HashTab доступна как для пользователей операционной системы Windows, так и для ценителей MacOs. Поэтому HashTab является универсальным инструментом для проверки контрольных сумм ISO образов. И даже если у вас есть несколько компьютеров, на которых установлены разные операционные системы, вам будет куда привычнее использовать одно программное обеспечение, нежели искать отдельные программы, предназначенные для разных операционных систем. В интернете довольно много аналогичных решений, что позволяет вам выбрать среди обилия практически одинаковых программ, отличающихся друг от друга разве что интерфейсом. Впрочем, все эти программы довольно простые и не сильно широки в плане своей функциональности, поэтому, что бы вы ни выбрали, все это будет примерно одного поля ягода. Успехов вам и целостности информации!

Итак, вы долго и упорно загружали образ Windows, а теперь хотите убедиться, что по дороге не потерялось ни байта. Или дистрибутив вам принесла добрая фея, и вы хотите проверить, не связана ли она с пиратами. Для определения целостности дистрибутива вам понадобятся две вещи — контрольная сумма и программа для ее проверки.

Контрольные суммы образов Windows

Upd. 2017. Microsoft перенесла загрузки с MSDN на новый сайт https://my.visualstudio.com/downloads , где для доступа к образам требуется подписка. Поэтому без подписки приведенным ниже способом контрольную сумму узнать уже нельзя.

Microsoft публикует контрольные суммы своих продуктов на MSDN , указывая в качестве типа хеширования SHA1. Найдите поиском языковую версию и издание вашей Windows и щелкните Сведения , чтобы увидеть контрольную сумму ниже.

Это — половина дела.

Проверка контрольной суммы с помощью встроенной утилиты certutil

Если не указывать параметр -sha1 , утилита вычислит хеш MD5.

Как видите, все очень просто! Вы можете использовать этот способ для проверки контрольных сумм MD5 или SHA1 любых файлов.

Проверка контрольной суммы с помощью программы HashTab

Если командная строка вас пугает, можно проверить контрольную сумму более простым путем.

Загрузите и установите программу HashTab .
Щелкните правой кнопкой мыши на файле образа и выберите пункт «Свойства».
Перейдите на вкладку «Контрольные суммы» (File Hashes).

Зачастую раздобыть заветные хеши — это далеко не все, что нужно сделать перед тем, как начинать брут. Иногда еще бывает полезно понять, а что, собственно, будем брутить, определить хеш или другими словами, узнать, что за хеш попался при проведения пентеста.

Самым простым способом узнать алгоритм хеша — онлайн-сервис. Один из самых популярных сервисов по определению хеша онлайн является сайт .

Использовать данный сервис очень просто:

Переходите на сайт onlinehashcrack.com
Вводите найденный хеш
Получаете результат

Сервис умеет определять свыше 250 типов хешей.

Определение хеша с помощью hashID

В некоторых случаях лезть в интернет для определения типа хеша будет затруднительно. В таких ситуациях можно использовать специальные утилиты. Одна из самых популярных на сегодняшний день — инструмент hashID.

Данная утилита пришла на смену утилит HashTag и Hash-Identifier.

hashID — это чрезвычайно полезная тулза на Python 3, которая попытается определить, что за тип хеша перед ней.

В библиотеке hashID более двухсот различных сигнатур хешей и сервисов, которые их используют.

Определение хеша с помощью утилиты hashID

Утилита дружит с , а также без проблем запускается и на второй ветке Python.

Установка hashID

$ pip install hashid
$ pip install —upgrade hashid
$ pip uninstall hashid

Скачать hashID

Утилиту можно с Гитхаба. Там же найдете полный список поддерживаемых хешей в Excel-файле.

На этом все. Этих инструментов определения хеша вам должно хватить. Всем хорошего настроения и информационной безопасности!

П ри обмене информацией по компьютерным сетям или через переносные носители актуальным встает вопрос о том, как проверить целостность передаваемой информации. Ведь если в полученном многомегабайтном файле будет неправильно сохранено несколько бит, то это может привести к проблемам при использовании этого файла. Особенно если этот файл является приложением. Поэтому при распространении различных установочных файлов, и прочей информации принято указывать контрольную сумму (хеш) — чтобы пользователи, скачав данные, могли самостоятельно проверить контрольные суммы файлов на предмет совпадения с хешем скачанной информации.

Принципы использования контрольных сумм

Для осознанного использования технологии полезно понимать, что из себя представляет хеш. В общем случае хеш — это набор бит, получаемый в результате вычислений над информацией по определенному алгоритму. Отличительной особенностью такого алгоритма является то, что при изменении хотя бы одного бита в исходной информации, хеш-сумма также меняется. И при этом крайне мала вероятность того, что случайное изменение нескольких бит входящей информации оставит хеш без изменений. Таким образом получается, что контрольная сумма — это как паспорт данных, сверившись с которым можно сделать вывод, что данные — подлинные.

Поэтому принцип использования хэшей довольно прост, и состоит из двух этапов:

1. Вычисление, сохранение и публикация контрольной суммы оригинальных данных.

2. Вычисление ее значения для копии данных и сверка со значением для оригиналов.

Существует много разных алгоритмов хеширования. И соответственно есть много разновидностей хеш-сумм. Наиболее популярные среди них — это CRC32 , MD5 , SHA-1 и пр.

Где применяются хеши?

Даже те пользователи, которые не знают что такое хеш-суммы, все равно довольно часто пользуются благами их использования — например при открытии упакованных файлов. Дело в том, что современные архиваторы добавляют к упакованным файлам их хеши. Их можно увидеть, открыв архив с помощью программы-архиватора.

И соответственно при разархивировании эти хеши автоматически сверяются. Если архив поврежден — то программа архивации выдаст ошибку с сообщением, что контрольные суммы файлов не совпадают. Поэтому самый простой способ обеспечить контроль правильности передачи файлов — это упаковать их в архив.

Другая сфера применения контрольных сумм — это использование их вместо паролей. Когда посетитель регистрируется на каком-то сайте, вводя секретный пароль, то на сервере сохраняется не сам пароль, а его хеш. Соответственно, если злоумышленники получат доступ к серверу, то они не смогут узнать сохраненные пароли — их там попросту нет.

Также хеш-суммы — неотъемлемая часть работы торрент-трекеров. Благодаря этому при закачке файлов через торренты гарантируется 100-процентная целостность передачи информации. При этом пользователю нет надобности каким-то образом контролировать этот процесс. Все необходимые операции при закачке осуществляет программа (). Конечно, если файлы уже давно скачаны, и нужно убедиться, не повредились ли они со временем, то можно запустить повторную проверку вручную. Так например в программе uTorrent для этого есть специальный пункт в контекстном меню (появляющемся при нажатии правой кнопкой мыши на выбранном торренте).

При использовании архивов и торрентов хеширование проводится без участия пользователя. Но поскольку далеко не все файлы удобно архивировать и тем более использовать торренты при отправке информации, то существует широко распространенная практика вычисления контрольных сумм для произвольного набора файлов. Чаще всего для этого используются хеш в формате MD5, для которого создано много разных программ.

Как создать MD5-хеш файлов с помощью MD5Checker?

Несмотря на то, что MD5-алгоритм доступен во многих файл-менеджерах и утилитах, не всеми из них удобно пользоваться. Часть программ не умеют проверять хэши для группы файлов. Другая часть программ хоть и делает это, но не выводит в удобном виде отчет о результатах проверки — приходится вручную прокручивать весь список файлов для выявления сообщений об ошибках.

Единственная максимально удобная программа для работы с MD5 — это приложение MD5Checker. Скачать программу можно с официального сайта . Несмотря на то, что программа имеет англоязычный интерфейс, пользоваться ей достаточно просто.

Программа по умолчанию настроена на хеширование программных файлов, архивов и ISO-образов. Поэтому если Вы хотите пользоваться этим приложением допустим для музыки и видео, то необходимо для начала поменять одну единственную настройку — указать маску для файлов, с которыми будет работать программа. Для этого нужно зайти в пункт меню «Tools / Options» и в поле «Include» указать символ * (что означает «все файлы»).

После этого можно пользоваться программой в обычном режиме — теперь будут сканироваться все до единого файлы во всех подпапках.

Для создания MD5-хеша нужно перетащить выбранные файлы из папки в окно программы — и программа автоматически начнет вычислять MD5-суммы для всех выбранных файлов и всех файлов в подпапках (удовлетворяющих заданной нами маске). Посчитанные суммы будут отображены в столбце «Current MD5» («Текущая MD5»). Теперь остается только сохранить полученные значения в файл, нажав кнопку «S To» («Сохранить в»).

При этом важно отметить, что если сохранить MD5-файл в папке, в которой находятся все выбранные нами файлы и подпапки, то будут сохранены относительные пути к ним. Это позволит в будущем проверять контрольную сумму даже если перенести файлы в другое месторасположение. Поэтому перед сохранением файла имеет смысл перейти в корень папки, нажав соответствующую кнопку.

Если открыть полученный файл в блокноте, то можно увидеть, что информация хранится в нем в виде обычного текста.

При этом можно убедиться, что пути к файлам сохранены относительные, т.е. не содержат буквы диска, на котором расположены. Такой MD5-файл можно хранить в папке вместе с файлами, и в будущем на любом компьютере проверять целостность файлов этой папки.

Как проверить контрольные суммы файлов?

Для проверки контрольных сумм файлов нужно заново запустить программу либо нажать кнопку «Clear» для очистки списка файлов.

После этого следует перетащить MD5-файл в окно программы и удостовериться, что напротив каждого файла появилась зеленая галочка. Это означает что файлы хранятся в целости и сохранности. Если файлов довольно много, то контроль удобнее производить по счетчикам «Failed» и «Passed» («Не совпало» и «Совпало») в заголовке таблицы.

Можно провести эксперимент: переименовать один из файлов, а еще один отредактировать, произведя пару незначительных изменений. После запуска повторной проверки программа выявила, что один из файлов стал недоступным под изначальным именем (помечен желтым значком), а контрольная сумма второго файла не совпала (помечен красным значком). Несовпадение контрольной суммы свидетельствует о том, что файл либо изменялся, либо поврежден.

Стоит отметить, что если у Вас имеется несколько папок, в каждой из которых есть один или несколько MD5-файлов (в т.ч. в подпапках), то перетащив эти все папки в окно программы можно одним махом проверить все файлы на целостность. MD5Checker автоматически извлекает значения хешей из попадающихся при сканировании файлов с расширением md5. Это бывает крайне удобно, если осуществляется копирование или передача по интернету больших объемов информации.

Также если Вы переименовали или перенесли какие-то файлы в другое месторасположение, то можно отредактировать в блокноте MD5-файл, указав там новые значения для их путей — и тогда можно будет пользоваться им дальше для проверки файлов.

Итоги

Технология хеширования дает уникальную возможность контроля за сохранностью информации. В нынешние времена, когда количество файлов пользователя исчисляется тысячами и десятками тысяч, необходимо удобство в обработке хеш-сумм для больших объемов данных. С этой задачей успешно справляется программа MD5Checker, с помощью которой Вы сможете как проверить контрольные суммы, так и создать их для множества файлов независимо от глубины их вложенности в дереве папок.

Как проверить хеш-суммы файла? Как сравнить хеш-суммы файла

Использовать данный сервис очень просто:

Переходите на сайт onlinehashcrack.com
Вводите найденный хеш
Получаете результат

Сервис умеет определять свыше 250 типов хешей.

Определение хеша с помощью hashID

Данная утилита пришла на смену утилит HashTag и Hash-Identifier.

hashID — это чрезвычайно полезная тулза на Python 3, которая попытается определить, что за тип хеша перед ней.

В библиотеке hashID более двухсот различных сигнатур хешей и сервисов, которые их используют.

Определение хеша с помощью утилиты hashID

Утилита дружит с , а также без проблем запускается и на второй ветке Python.

Установка hashID

$ pip install hashid
$ pip install —upgrade hashid
$ pip uninstall hashid

Скачать hashID

Утилиту можно с Гитхаба. Там же найдете полный список поддерживаемых хешей в Excel-файле.

Итак, вы долго и упорно загружали образ Windows 7, а теперь хотите убедиться, что по дороге не потерялось ни байта. Или дистрибутив вам принесла добрая фея, и вы хотите проверить, не связана ли она с пиратами. Для определения целостности дистрибутива вам понадобятся две вещи — контрольная сумма и программа для ее проверки.

Контрольные суммы образов Windows 7

Microsoft публикует контрольные суммы своих продуктов на MSDN или TechNet , указывая в качестве типа хеширования SHA1. Найдите языковую версию и издание вашей Windows 7 и щелкните Сведения , чтобы увидеть контрольную сумму.

Это — половина дела.

Проверка контрольной суммы с помощью утилиты File Checksum Integrity Verifier

У Microsoft, конечно, есть собственная утилита командной строки для вычисления и проверки контрольной суммы файлов — File Checksum Integrity Verifier (fciv.exe). Ее можно загрузить из KB841290 (где также подробно описан синтаксис), либо по прямой ссылке (41 кб). Далее я предполагаю, что вы знаете, куда распакована утилита, и где сохранен ISO-образ Windows 7.

Достаточно выполнить одну команду в командной строке (Пуск — Поиск — cmd):

\fciv.exe -sha1 \имя_файла.iso

Например, если утилита на рабочем столе, а ISO-образ в корне диска D, команда будет выглядеть так:

%userprofile%\desktop\fciv.exe -sha1 D:\en_windows_7_ultimate_x86_dvd_x15-65921.iso

А результат — контрольная сумма файла:

Если не указывать параметр -sha1 , утилита вычислит хеш MD5.

Проверка контрольной суммы с помощью программы HashTab

Если командная строка вас пугает, можно проверить контрольную сумму более простым путем.

Загрузите и установите программу .
Щелкните правой кнопкой мыши на файле образа и выберите пункт «Свойства».
Перейдите на вкладку «Контрольные суммы» (File Hashes).

Здравствуйте Друзья! Как показывает практика многих пользователей, при более детальном знакомстве с компьютером, интересует вопрос: что есть контрольная сумма ? И как ее вычислить? В этой статье мы расскажем что это и зачем. Так же приведем несколько способов проверки контрольной суммы или хеша файлов.

Контрольная сумма (хеш) — определенное значение рассчитанное для данных с помощью известных алгоритмов. Предназначается для проверки целостности данных при передаче. Наиболее распространенными алгоритмами являются: CRC32, MD5 и SHA-1.

CRC32 — (Cyclic redundancy code) Циклический избыточный код. используется в работе программ архиваторов.

MD5 — используется не только для проверки целостности данных, но и позволяет получить довольно надежный идентификатор файла. Последний часто используется при поиске одинаковый файлов на компьютере, что бы не сравнивать все содержимое, а сравнить только хеш.

SHA-1 — используется для проверки целостности загружаемых данных программой BitTorrent.

С программой HashTab разобрались. Проще только не сравнивать контрольные суммы)

Вывод

В этой статье мы разобрались, что такое контрольная сумма , для чего ее используют. В нашем случае это простой вариант проверки файлов на целостность и идентичность оригиналу.

Познакомились с программами HashTab и MD5 File Checker.

Программа HashTab может сравнивать различные контрольные суммы в отличии от MD5 File Checker. Зато последняя не требует установки, что особенно актуально если нет административных прав.

Если у вас появились какие либо вопросы обязательно напишите комментарий.

Видео — Контрольная сумма

Контрольные суммы образов Windows

Это — половина дела.

Проверка контрольной суммы с помощью встроенной утилиты certutil

Если не указывать параметр -sha1 , утилита вычислит хеш MD5.

Проверка контрольной суммы с помощью программы HashTab

Если командная строка вас пугает, можно проверить контрольную сумму более простым путем.

Загрузите и установите программу HashTab .
Щелкните правой кнопкой мыши на файле образа и выберите пункт «Свойства».
Перейдите на вкладку «Контрольные суммы» (File Hashes).

Во время копирования информации или передачи ее по сети не гарантируется ее целостность, что особенно актуально для больших объемов информации. Представьте себе, что вы скачивали из интернета установочный файл размером 900 мегабайт , как убедиться, что он загрузился полностью и без ошибок. Ведь если в нем есть ошибки, то программа может просто не установиться или во время ее работы будут возникать сбои.

Конечно можно сравнить размер полученного файла с исходным, но этого не достаточно, чтобы утверждать об идентичности двух файлов. Поэтому были разработаны специальные алгоритмы позволяющие решить эту задачу.

Мы не будем углубляться в техническую реализацию, достаточно знать, что применяя определенный алгоритм высчитывает некое значение однозначно описывающее данный файл. Оно всегда одинаковое для одних и тех же данных и называется контрольной суммой или хешем. Хотя самих алгоритмов хеширования существует множество, вот некоторые из наиболее часто встречающихся: MD5, CRC32, SHA-1, SHA256, BTIH.

Поэтому очень часто на странице загрузки указаны хеши оригинальных файлов, чтобы пользователи могли выполнить проверку после скачивания. Таким образом зная контрольную сумму оригинального файла рассчитанную по какому-либо алгоритму, мы можем проверить идентичность его копии, рассчитав для нее соответствующий хеш и сравнив с оригинальным, если они не совпадут, значит в данных есть разница. Это можно использовать не только для проверки целостности данных загруженных из интернета , но и для сравнения двух файлов в компьютере или, например для проверки корректности записи данных на DVD-диск. Узнав о необходимости выполнить проверку, начинающие пользователи компьютера часто не знают, как проверить хеш файлов, хотя это делается очень просто. В разных операционных системах данная операция выполняется по-разному.

Проверка контрольных сумм файлов в Windows

В операционной системе Windows существует множество способов выполнить данную проверку, поэтому рассмотрим только несколько из них, а вы уже сами выберите наиболее удобный вам.

Проверка хеша файла в командной строке Windows

Начнем с самого простого способа не требующего установки дополнительного программного обеспечения. Начиная с Windows 7 есть возможность рассчитать контрольную сумму в командной строке используя встроенную утилиту certutil среди прочего умеющую вычислять хеш файлов. Просто запускаете командную строку и вводите следующую команду:

Certutil -hashfile «путь к файлу»

где может принимать одно из следующих значений: MD2, MD4, MD5, SHA1, SHA256, SHA384, SHA512. Таким образом, чтобы узнать контрольную сумму файла Win10_1511_1_Russian_x32.iso расположенного в корне диска D:\ по алгоритму SHA-1 команда будет выглядеть так:

Certutil -hashfile «D:\Win10_1511_1_Russian_x32.iso» SHA1

Результатом выполнения команды будет строка содержащая хэш-код в виде шестнадцатеричных чисел . Кстати, чтобы не вводить путь до файла руками, можно воспользоваться хитростью . Результат вычислений выделен красным. Осталось сравнить его с оригинальным, для этого удобно вставить их рядом в блокноте. Причем если использовать продвинутый блокнот типа Notepad++ , то и сверять визуально не придется, если хеши будут одинаковы, то они подсветятся.

Способ довольно простой, но некоторых неопытных пользователей пугает интерфейс командной строки, да и сравнивать контрольные суммы конечно не очень удобно. Поэтому существует множество сторонних программ умеющих вычислять хэши. Рассмотрим некоторые из них.

Проверка хеша в программе MD5 File Checker

Очень простая программа не требующая установки и имеющая графический интерфейс. Состоит всего из одного окна в котором нужно сначала выбрать файл в верхнем поле, затем вставить в самое нижнее правильный хеш и нажать кнопку «Проверить».

Через некоторое время программа выдаст вердикт. Основной минус программы, что она умеет использовать только алгоритм MD5, что иногда бывает недостаточно. Скачать MD5 File Checker можно .

Расчет контрольных сумм в программе HashTab

Здесь уже используется немного другой подход, причем есть версия как для Windows так и для Mac OS . В Windows программа является расширением проводника , а на Mac является плагином для Finder. Покажем работу программы на примере Windows.

Если после установки программы HashTab щелкнуть правой кнопкой мыши по проверяемому файлу и выбрать в контекстном меню «Свойства», то мы обнаружим новую вкладку «Хеш-суммы файлов» и одновременно запустится расчет контрольных сумм этого файла.

Представленных вариантов вполне достаточно, для проверки целостности файлов в Windows. Единственное пожалуй упомянем, что Total Commander так же умеет вычислять CRC-суммы, соответствующие возможности находятся в меню «Файл».

Проверка хешей в Linux

Здесь так же можно воспользоваться консолью. В случае алгоритма MD5 достаточно выполнив команду.

Md5sum «путь к файлу»

Для хеш-сумм по алгоритму SHA-1 команда выглядит немного иначе.

Sha1sum «путь к файлу»

Cksum «путь к файлу»

Кто не хочет связываться с консолью, может поставить программу Gtkhash с графическим интерфейсом и проверять целостность файлов в ней. Для установки программы выполнить в консоли:

Sudo apt-get install gtkhash

Напоследок расскажем о том, как можно убедиться, что скачанный с торрента или доставшейся из другого ненадежного источника дистрибутив Windows оригинальный и его не изменял кто-либо. Для этого идем на сайт Майкрософт где подписчики MSDN могут скачивать ее продукты. Находим нужный нам образ, обращая внимание на версию, дату, разрядность и язык. Когда нужный продукт будет найден, нажимаем на «Сведения» рядом с ним.

В нижней части раскрывшейся области будет указана хеш сумма рассчитанная по алгоритму SHA1. Не смотрите на название вашего файла, его могли переименовать, главное это содержимое. Кроме того не стоит тратить время на проверки контрольных сумм образа, если это сборка, репак и подобное народное творчество, а не образ MSDN.

Как проверить хеш суммы файла. Как сравнить хеш-суммы файла. Зачем нужно знать Хеш- сумму файла

ие расчитанное по набору входных данных с помощью специального алгоритма. Контрольная сумма чаще всего используется для проверки целосности файлов. То есть в грубом приблежении контрольная сумма это ключ , который позволяет однозначно отличить два разных набора данных (два разных файла). Например, вы скачали файл из интернета ( игры, установочный ), вы можете быть уверенны, что в процессе скачивания файл не был поврежден и был полностью загружен? А ведь использование такого «неисправного» файла зачастую приводит к ошибкам при установке игры или ОС или чего угодно. Причем о том, что ошибка возникла именно из-за поврежденного в процессе загрузки файла вы можете и не знать, обвиняя во всех проблемах свой компьютер.

Так вот, что бы избежать таких проблем и используются контрольные суммы. Часто многие ресурсы вместе со сылкой на файл оставляют и контрольную сумму этого файла. И вы, скачав этот файл, сможете сравнить контрольную сумму скачанного файла с той, которая была оставлена на ресурсе и однозначно удостовериться в том, что файл был скачан без ошибок.

Для вычисления и сравнения контрольных сумм используются специальные программы. Самая распространенная из них это HashTab . Эта программа бесплатная. Скачать ее можно отсюда:

Для установки распакуйте архив и запустите файл установки программы.

После установки не появляется ярлык программы, нету этой программы и в меню быстрого запуска Пуск. Для того чтобы воспользоваться программой, нажмите правой кнопкой по любому файлу и выберите пункт Свойства (проделаем эту операцию со скачанным архивом). Обратите внимание, что в окне свойств файла появилась новая вкладка Хеш-суммы файлов .

Для того чтобы сравнить контрольные суммы файлов скопируйте хеш-сумму, с сайта программы и вставьте ее в поле Сравнение хеша окна свойств.

Обратите внимание на появившуюся зеленую галочку. Это означает что хеш-суммы совпадают. Иначе вы увидите вот такой значок:

Несовпадение контрольных сумм может свидетельствовать о том, что файл при скачивании был поврежден. Я вам советую проверять хеш-суммы файлов после их скачивания, особенно это касается установочных образов ОС, установочных образов игр да и любых больших файлов. Таким образом, вы обезопасите себя от ошибок при установке, которые связаны с поврежденными файлами. Удачи.

Принципы использования контрольных сумм

Поэтому принцип использования хэшей довольно прост, и состоит из двух этапов:

1. Вычисление, сохранение и публикация контрольной суммы оригинальных данных.

2. Вычисление ее значения для копии данных и сверка со значением для оригиналов.

Где применяются хеши?

Как создать MD5-хеш файлов с помощью MD5Checker?

Как проверить контрольные суммы файлов?

Итоги

Контрольные суммы образов Windows

Это — половина дела.

Проверка контрольной суммы с помощью встроенной утилиты certutil

Если не указывать параметр -sha1 , утилита вычислит хеш MD5.

Проверка контрольной суммы с помощью программы HashTab

Если командная строка вас пугает, можно проверить контрольную сумму более простым путем.

Загрузите и установите программу HashTab .
Щелкните правой кнопкой мыши на файле образа и выберите пункт «Свойства».
Перейдите на вкладку «Контрольные суммы» (File Hashes).

Многие пользователи компьютеров со временем, при более детальном знакомстве, задаются вопросом по поводу хеш-сумм. Их еще называют контрольными суммами. Что же это такое? Для чего нужно? Каким образом вычисляются эти самые суммы?

Определение

Называется определенное значение, которое рассчитано для данных при помощи специальных алгоритмов. Предназначение хеш-сумм — проверка целостности данных при их передаче. Самые распространенные алгоритмы для расчета — MD5, CRC32 и SHA-1. Контрольные суммы также можно использовать для сравнения наборов данных на неэквивалентность, что применимо для обнаружения вирусов на компьютере.

Популярность использование этого метода получило из-за того, что проверка легко реализуется в цифровом оборудовании, работающем с двоичной Она без проблем анализируется и отлично подходит для поиска ошибок, которые вызваны наличием шума в информационных каналах.

Алгоритмы для проверки

Алгоритм MD5 используется не только для того, чтобы проверять целостность данных, но и дает возможность получить достаточно надежный идентификатор, который часто используется в тех случаях, когда на компьютере отыскиваются одинаковые файлы. Таким образом, происходит сравнение не содержимого, а их хеш-сумм.

Алгоритм CRC32 применяется в работе архивирующих программ. Расшифровывается он как «циклический избыточный код».

Алгоритм SHA-1 нашел применение при проверке целостности данных, которые загружаются при помощи программы BitTorrent.

Пример

К примеру, пользователь хочет установить операционную систему или игру на свой компьютер. Он скачивает образ и хочет удостовериться в том, что целостность файла в порядке и при передаче ничего не потеряно. Самый простой способ для этого — сравнение хеш-сумм загруженного файла и предоставленного автором. Если они полностью совпадают, то образ не содержит ошибок. Ну а если хеш-суммы файлов отличаются, нужно перекачивать заново, так как произошел какой-то сбой.

Данная элементарная процедура служит профилактической мерой от некорректной работы, зависаний. Выполняя ее, можно быть уверенным, что установка операционной системы, программы или игры будет правильной.

Программа HashTab: проверка хеш-суммы

Данная утилита является плагином, который интегрируется в операционную систему и используется в моменты надобности. Ее можно загрузить с официального сайта совершенно бесплатно в виде установочного файла. Инсталляция программы интуитивно понятна.

После установки в свойствах каждого файла будет присутствовать новая дополнительная вкладка для вычисления контрольной суммы. По умолчанию они будут вычисляться по тем самым трем алгоритмам, описанным выше.

Как проверить хеш-суммы? Для этого в поле «Сравнение» нужно вставить сумму, которая указана автором. Если скачанный файл успешно прошел проверку на подлинность, появится зеленая галочка. В противном же случае пользователь увидит красный крестик. В таком случае рекомендуется скачать файл заново.

Настройки на вкладке «Хеш-суммы файлов» можно поменять, если нажать на соответствующий пункт. Откроется окно параметров, где есть возможность выставить отображение нужных контрольных сумм для проверки и вычисления. Для того чтобы все было наглядным, рекомендуется отметить галочкой чекбокс, позволяющий показывать контрольные суммы строчными символами.

Таким образом, работать с данной программой очень просто. С ней сможет разобраться даже малоопытный пользователь.

Программа MD5 File Checker

Эта утилита также загружается с официального сайта, но установки она не требует. Нужно лишь запустить ее. Она использует для проверки одноименный алгоритм. При скачивании файла нужно скопировать в буфер обмена хеш-сумму оригинала, а затем вставить ее в поле для проверки. Следующий шаг — выбор файла, который пользователь желает протестировать на целостность. После нажатия на кнопку «Проверить» будет получено сообщение с результатом работы, где будет сказано, совпадает ли контрольная сумма файлов или файл поврежден и соответствия нет.

Дополнительной возможностью утилиты является расчет суммы по алгоритму MD5 для любого файла на компьютере.

Вывод

Итак, было рассмотрено понятие «контрольной суммы». Стало ясно, для чего она используется. Для рядового пользователя это легкий вариант для того, чтобы проверить файл на целостность и соответствие оригиналу. Были описаны полезные утилиты для вычисления и сравнения хеш-сумм. Первая способна сравнивать различные суммы, а вторая только по одному алгоритму, но зато не требует инсталляции, что актуально при отсутствии прав администратора.

Если собираетесь установить операционную систему либо любой другой программный продукт, рекомендуется обязательно проверять хеш-суммы после загрузки всех установочных файлов. Это сэкономит много времени и, что важнее, нервов.

Самым простым способом узнать алгоритм хеша — онлайн-сервис. Один из самых популярных сервисов по определению хеша онлайн является сайт onlinehashcrack.com .

Использовать данный сервис очень просто:

Переходите на сайт onlinehashcrack.com
Вводите найденный хеш
Получаете результат

Сервис умеет определять свыше 250 типов хешей.

Определение хеша с помощью hashID

Данная утилита пришла на смену утилит HashTag и Hash-Identifier.

hashID — это чрезвычайно полезная тулза на Python 3, которая попытается определить, что за тип хеша перед ней.

В библиотеке hashID более двухсот различных сигнатур хешей и сервисов, которые их используют.

Определение хеша с помощью утилиты hashID

Утилита дружит с , а также без проблем запускается и на второй ветке Python.

Установка hashID

$ pip install hashid
$ pip install —upgrade hashid
$ pip uninstall hashid

Скачать hashID

Скачать утилиту можно с Гитхаба. Там же найдете полный список поддерживаемых хешей в Excel-файле.

Страница не найдена – Information Security Squad

☸️ Побег из контейнера Kubernetes с помощью монтирования HostPath 30.08.2021

Если вы работаете с Kubernetes, то монтирование файловой системы хоста в контейнер в виде тома должно не давать вам спать по ночам. Позвольте мне объяснить почему. Что такое “volume” (том)? Поскольку контейнеры должны быть эфемерными и без статических данных, им необходим какой-то способ сохранения данных за пределами контейнера. В некоторых случаях им даже требуется постоянное […]

🐧 Примеры команд passwd в системах Linux 30.08.2021

Команда passwd используется для установки начального пароля пользователя или изменения существующего пароля. Синтаксис команды passwd следующий: $ passwd [username] Пользователь root может установить пароль для любого пользователя на любое значение, не зная его текущего пароля. От обычного пользователя, просто введите эту команду в CLI. В ответ вы увидите что-то вроде этого: $ passwd Changing password […]

Где и как выгодно арендовать сервер 30.08.2021

Если у вас возникла потребность в новом сервере, ваш старый не справляется с задачами или вышел из строя, впервые решили приобрести серверное оборудование, но вас останавливает цена и множество сопутствующих факторов (дополнительное помещение, техническое обслуживание и тому подобные моменты), есть другое решение. Оно вам позволит одновременно и не тратить большие деньги, и при этом быть […]

🔐 Обзор лучших менеджеров паролей для Linux 29.08.2021

Следить за своими паролями может быть непростой задачей. Часто вы склонны забывать их со временем, особенно после длительного периода бездействия. Большинство пользователей в результате записывают их где-нибудь на бумажк или в блокноте, что считается рискованной практикой. Третьи лица могут завладеть ими, и что может произойти дальше, вы догадываетесь не хуже меня. Менеджеры паролей помогают пользователям […]

✅ Менеджер по продажам IT-интегратор (ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ) 27.08.2021

Готовы рассматривать кандидатов на позицию “Head of sale team”. 🌐Киев Компания ИТ-интегратор в связи с расширением открывает вакансию «Менеджер по информационной безопасности»! ‼️Важно: • Опыт работы в продажах ИT решений и проектов корпоративным клиентам 2+ года • Успешно реализованные интеграционные проекты за последние 2 года • Знание техники продаж ИТ решений для корпоративного сегмента рынка […]

Проверить хэш сумму. Вычисление хэша. Принципы использования контрольных сумм

Ищем на просторах всемирной паутины программу HashTab (или ей аналогичную программу, предназначенную для проверки контрольных сумм (или хеш-сумм) ISO образов), загружаем ее себе на компьютер и инсталлируем. Скачать программу можно, например, отсюда http://www.softportal.com/get-19546-hashtab.html , либо с официального сайта. Процесс установки достаточно простой и не требует описания;
Далее жмем правой клавишей мыши на файл ISO образа и выбираем из всплывающего контекстного меню пункт «Свойства», где будет располагаться, новая вкладка, созданная программой HashTab;
Переходим во вкладку «Хеш-суммы файлов», там будет указана хеш-сумма скачанного файла. Эта сумма является контрольной для того файла который вы скачали и даже в случае его нецелостности, он все равно будет иметь контрольную сумму;
Копируем хеш-сумму из описания к ISO файлу (обычно, в теме, откуда вы скачиваете файл, указывается контрольная сумма ISO образа, так же контрольная сумма должно присутствовать на обратном обороте диска, если образ скопирован с диска и если диск является лицензионным), вставляем ее в поле «Сравнение хеша» и нажимаем кнопку «Сравнить файл…».

Использовать данный сервис очень просто:

Переходите на сайт onlinehashcrack.com
Вводите найденный хеш
Получаете результат

Сервис умеет определять свыше 250 типов хешей.

Определение хеша с помощью hashID

Данная утилита пришла на смену утилит HashTag и Hash-Identifier.

hashID — это чрезвычайно полезная тулза на Python 3, которая попытается определить, что за тип хеша перед ней.

В библиотеке hashID более двухсот различных сигнатур хешей и сервисов, которые их используют.

Определение хеша с помощью утилиты hashID

Утилита дружит с , а также без проблем запускается и на второй ветке Python.

Установка hashID

$ pip install hashid
$ pip install —upgrade hashid
$ pip uninstall hashid

Скачать hashID

Скачать утилиту можно с Гитхаба. Там же найдете полный список поддерживаемых хешей в Excel-файле.

Определение

Алгоритмы для проверки

Пример

Программа HashTab: проверка хеш-суммы

Программа MD5 File Checker

Дополнительной возможностью утилиты является расчет суммы по алгоритму MD5 для любого файла на компьютере.

Вывод

19/01/2016

Alternate HASH-Generator — программа, позволяющая создавать хеш-значения из строки либо файла. Приложение помогает узнать контрольную сумму файла и сравнивает её с эталонным значением. Такие манипуляции нужны для проверки правильности передачи разных данных. Программу можно использовать для проверки правильности значения скачанного файла. После скачивания документа пользователь может сравнить контрольную сумму загруженного документа с указанной в описании файла. В случае несовпадения контрольного значения пользователю перезагрузить файл, так как при скачивании произошла ошибка. Программа помогает избежать открытия файлов, зараж…

03/11/2015

MultiHasher — лёгкая программа созданная португальскими компьютерщиками для вычисления хеша любых документов. Данный калькулятор может, за раз, вычислить несколько значений хеша для одного файла. Работает с алгоритмами CRC32, SHA-1, SHA-256, SHA-384, SHA-512 и MD5. Так же есть функция для проверки файла с помощью VirusTotal. Программа интегрируется в проводник Windows, что упрощает работу и вычисления хеша в разы. Ещё для простоты работы с программой включается функция Drag and Drop, для быстрого добавления файлов или даже папки в очередь обработки. Программа мултиязычная и имеет русский язык, что дает ей преимущество перед дру…

20/04/2015

HashTools — полезная, простая в использовании утилита, помогающая достаточно быстро определить конечную контрольную сумму файлов. Утилита полезна для пользователей, которые хотят проверить целостность имеющихся файлов. Приложение имеет достаточно простой интерфейс, что позволяет достаточно быстро выбрать файл либо нужный каталог. Затем необходимо задать алгоритм для определения контрольной суммы. HashTools поддерживает генерирование контрольных сумм посредством SHA256, SHA384, MD5, SHA1, CRC32, SHA512. Позволяет сохранять отчет можно в виде файла с SFV-расширением. Пользователь может выбирать файлы для обработки, перетаскивая…

26/08/2014

Нередко активным пользователям интернета приходится скачивать какие-то программы и файлы. Это может быть музыка, видео, игры или что-то ещё. И очень часто возникают ситуации, когда файл при скачивании оказывается повреждённым или битым. Чаще всего это происходит из-за прервавшейся закачки, низкой скорости интернет соединения, плохой связи с файлообменником и т.п. Для проверки целостности любого файла и для решения части подобных проблем, программа HashTab будет одним из лучших решений. Данная программа полностью бесплатна и занимает очень мало места. Настолько мало, что её можно поместить на любой съёмный носитель. При…

Загружая к себе на компьютер программы или игры из интернета вы возможно не раз замечали, что в описании к файлам некоторых установочных образов указан такой пункт, как «Контрольные суммы» или «Хеш-суммы». Что такое хеш-сумма, зачем она указывается на сайтах и как ее можно проверить?

Хеш-сумма представляет собой результат обработки данных файла хеш-функцией. По сути, хеш-сумма является персональным цифровым идентификатором, при помощи которого можно проверить целостность скопированного или загруженного образа, путем сравнения со значением хеш-суммы оригинального файла.

Но зачем нужно проверять целостность скачанного образа, если в менеджере загрузок или торрент-клиенте и так видно, загрузился файл или нет? Дело в том, что, в отличие от большинства мультимедийных файлов, таких, как фотографии, аудозаписи или фильмы, установочные файлы гораздо более чувствительны к малейшим повреждениям. Поэтому если в процессе загрузки образа произошли пусть даже небольшие ошибки, в ходе которых было утеряно всего несколько байт информации, у вас вполне могут возникнуть проблемы при установке системы или приложения с данного образа.

Чтобы избежать подобных проблем, лучше всего сразу проверять значение хеш-суммы скачиваемого файла, сравнивая его с тем значением, которое было указано в описании на сайте, с которого производилась загрузка данного файла. Однако узнать значение хеш-суммы файла с помощью стандартных средств операционной системы Windows увы не получится, поэтому вам придется прибегнуть к помощи сторонней программы. К примеру, для проверки хеша вы можете установить специализированную утилиту под названием HashTab .

HashTab является очень простой, удобной и легковесной программой, к тому же она совершенно бесплатна. Скачать программу HashTab с официального сайта разработчика можно по этой ссылке: hashtab.ru/ .

После установки программы HashTab она автоматически будет встроена в стандартный Проводник Windows и вы легко сможете узнать хеш-суммы абсолютно любого файла на своем компьютере.

Для того, чтобы вы могли быстро понять, как работать с данной программой, проведем один небольшой эксперимент. Зайдем на официальный сайт компании Microsoft, в раздел загрузки Windows Technical Preview, который находится по адресу windows.microsoft.com/ru-ru/windows/preview-download и скачаем оттуда пробную версию свежеиспеченной операционной системы Windows 10. При этом перед загрузкой мы обязательно скопируем данные значения хеш-суммы файла образа, которые указываются на сайте.

После того, как образ Windows Technical Preview загрузится на жесткий диск компьютера, мы произведем контрольную проверку на предмет соответствия контрольных хеш-сумм файла, размещенного на сайте и загруженного нами файла образа.

Для того, чтобы узнать хеш-сумму файла, щелкните по нему правой кнопкой мышки и в контекстном меню выберите пункт Свойства . В окне свойств файла перейдите на вкладку Хеш-суммы файлов . Здесь вы можете прочитать значение всех трех хеш-сумм выбранного файла (правда, вам придется подождать, пока программа вычислит значение хеша). Однако мало кому будет охота вручную сравнивать значение хеш-сумм, когда есть возможность сделать это в автоматическом режиме. Просто скопируйте значение хеш-суммы исходного (загружаемого с сайта) файла и вставьте его в строку Сравнение хеша .

Если значения обеих хеш-сумм совпадают, значит, в процессе загрузки файла не произошло никаких ошибок, и вы можете смело устанавливать данную операционную систему или приложение из образа. Если же хеш не совпадает, то лучше скачать этот файл заново, так как это лучше, чем потом второй раз переустанавливать систему или приложение из-за проблем, которые могут возникнуть как в процессе установки, так и во время последующей работы.

Также при помощи программы HashTab можно сравнивать значение хеш-сумм двух идентичных файлов. Для этого лишь нужно, чтобы они оба находились на компьютере или хотя бы на подключенном к нему съемном накопителе. Чтобы сравнить хеш-суммы двух якобы одинаковых файлов на предмет идентичности откройте свойства одного из файлов на вкладке Хеш-суммы файлов , нажмите на кнопку Сравнить файл и укажите путь ко второму файлу. После этого программа автоматически произведет вычисление и сравнение хеш-сумм обоих файлов.

Остались вопросы? — Мы БЕСПЛАТНО ответим на них в

Проверка контрольных сумм файлов в Linux

Очень часто при загрузке файлов с Интернет-ресурсов можно встретить прилагаемую информацию о контрольных суммах этих файлов. Многие пользователи просто не обращают на это внимания, скачивают файл и используют его «как есть». Однако контрольные суммы к соответствующим загружаемым файлам прилагаются не просто так. Это напрямую связано с корректной работой программ (если это исполняемые файлы), а также с безопасностью. В данной статье будет более подробно изложено, почему так важно пользоваться контрольными суммами, а также рассмотрены способы проверки файлов в Linux.

Зачем нужно выполнять проверку файлов?

Контрольные суммы загружаемых файлов позволяют определить, что файл — точная копия того, что хранится на сервере, с которого он был загружен. Структура файлов, особенно таких больших и сложных, как например, ISO-образы может быть повреждена в процессе загрузки (могут удаляться TCP-пакеты из-за некачественной связи и т. п.) и таким образом, загруженные файлы нельзя будет полноценно использовать. Например, не откроется или не распакуется архив.

Есть и другой важный аспект в использовании контрольный сумм — это безопасность. Удалённый сервер, с которого происходит загрузка файлов может быть взломан, а сами загружаемые файлы на нём — изменены. Изменения могут быть не самыми безобидными, как можно понимать. Проверка контрольных сумм может выявить «подлог» ещё до того как загруженный файл будет обработан пользователем, конечно, если эта проверка будет своевременной.

Конечно же злоумышленник, может подменить и сами контрольные суммы, соответственно «испорченным» файлам. Но «лишняя» посторонняя активность на сервере легко может быть замечена и, соответственно, пресечена. Да и для того, чтобы злоумышленнику отредактировать соответствующие публикации на сайтах, предоставляющих загрузки, ему нужно, возможно, преодолевать защиту ещё и самих сайтов, а значит, неоправданно рисковать. Поэтому в подавляющем большинстве случаев такие действия ограничиваются быстрой подменой оригинальных файлов на «контрафактные». Но независимо от того, каким образом были модифицированы загружаемые файлы, всегда следует их проверять, когда предоставляются их контрольные суммы.

Каким образом это работает?

Создание контрольных сумм файлов называется хешированием. Сама же контрольная сумма — это некоторая строка определённой длины, состоящая из последовательности букв и цифр. Нужно заметить, хеширование никоим образом не зашифровывает файл, а контрольная сумма ничего не расшифровывает. Контрольная сумма называется суммой потому, что это результат однонаправленного криптографического «суммирования» — специального алгоритма. А контрольной она называется потому, что её значение (как и длина контрольной строки — обычно 32 символа) будет всегда одним и тем же, если файл никак не изменялся, независимо от того, сколько раз и при каких условиях вычисляется его контрольная сумма. Но стоит над файлом произвести даже самые незначительные изменения (например, вставить один лишний пробел в текстовом файле), как значение контрольной суммы изменится. Таким образом, значение контрольной суммы меняется, если хотя бы один бит файла изменился.

Для создания и проверки контрольный сумм существует два основных метода: MD5 и SHA. Первый считается устаревшим, поскольку для задач шифрования может быть относительно нетрудно взломан. Однако, на работу с контрольными суммами файлов это никак не влияет. Главным же плюсом MD5 является его скорость — она быстрее, чем у SHA, да и вообще других методов шифрования.

Но нельзя не упомянуть также и о том, что в настоящее время всё-таки популярность SHA быстро растёт. В большинстве случаев именно его контрольные суммы публикуются для выкладываемых для загрузки файлов.

SHA имеет несколько версий. Обычно, при публикации это указывается, например: SHA1, SHA2. Это подсказывает пользователю, каким именно инструментом, реализующим одну из версий SHA нужно воспользоваться при проверке. Если же контрольная сумма указана без номера, то это SHA1. Вообще, для проверки целостности файлов оба метода одинаково хороши, выбор зависит от того, контрольная сумма какого метода опубликована для загружаемых файлов.

Что для этого нужно?

Для проверки файлов в системах Linux используются утилиты, которые практически всегда предустановлены в системе. Для этого достаточно вызвать соответствующие команды в командной оболочке.

В качестве проверяемых файлов используются любые файлы, для которых публикуются исходные контрольные суммы, например образы дистрибутивов Ubuntu или Rosa Linux. Далее в примерах будет использоваться образ ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso.

Как проверить файл в Linux?

Для начала скачаем сам файл, т. е. ISO-образ. На странице загрузки в списке рядом со ссылкой на образ есть также и ссылки на текстовые файлы

ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso.md5sum 
ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso.sha1sum,

содержащие значения соответствующих (как видно из расширений этих файлов) контрольных сумм. Их тоже нужно скачать.

Итак, загрузка образа, используя утилиту wget:

$ wget http://mirror.rosalab.ru/rosa/rosa2016.1/iso/ROSA.Fresh.R11/ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso

Загрузка файла с контрольной суммой SHA1:

$ wget http://mirror.rosalab.ru/rosa/rosa2016.1/iso/ROSA.Fresh.R11/ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso.sha1sum

Просмотр содержащегося в файле ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso.sha1sum значения контрольной суммы SHA1 с помощью команды cat:

$ cat ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso.sha1sum
8ddc46a21fee2fec56ef7d31bd6296ae73385063 ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso

Как можно видеть, представлены контрольная сумма и имя образа, для которого она была вычислена. Теперь можно, собственно, проверить сам образ, используя для этого команду sha1sum;

$ sha1sum ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso
8ddc46a21fee2fec56ef7d31bd6296ae73385063 ROSA.FRESH.PLASMA5.R11.x86_64.uefi.iso

Зрительно сопоставив значения контрольных сумм из вывода команды sha1sum и из содержимого файла PLASMA5.R11.x86_64.uefi.iso.sha1sum, можно убедиться, что они полностью совпадают. Таким образом, загруженный образ идентичен тому, что находится на сервере и его можно смело использовать.

Следует отметить, что версии SHA отличаются количеством следующих друг за другом запусков SHA – 256, 384 и 512. Для всех этих версий существуют соответствующие команды: sha256sum, sha384sum и sha512sum. Аналогичным образом можно использовать и команду md5sum для проверки контрольных сумм MD5.

Заключение

Итак, были рассмотрены самые распространённые способы проверки файлов. Как можно видеть, это совсем не сложно и выполняется стандартными средствами в любой системе Linux буквально одной командой.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Как проверить ISO-образы

На этой странице объясняется, как проверить их целостность и подлинность.

Важно проверить целостность и подлинность вашего ISO-образа.

Проверка целостности подтверждает, что ваш ISO-образ был правильно загружен и что ваш локальный файл является точной копией файла, присутствующего на серверах загрузки. Ошибка во время загрузки может привести к повреждению файла и вызвать случайные проблемы во время установки.

Проверка подлинности подтверждает, что загруженный вами ISO-образ был подписан Linux Mint и, следовательно, не является модифицированной или злонамеренной копией, сделанной кем-то другим.

Препарат

1. Создайте в домашнем каталоге каталог с именем «ISO».

2. Переместите загруженный вами ISO-образ в этот каталог.

3. Загрузите следующие файлы (щелкните правой кнопкой мыши -> Сохранить как …) и переместите их в каталог «ISO».

Ваш каталог ~ / ISO должен теперь содержать 3 файла: ваш ISO-образ, файл sha256sum.txt и файл sha256sum.txt.gpg.

Ни в коем случае не изменяйте эти файлы.

Проверка целостности

Чтобы проверить целостность образа ISO, сгенерируйте его сумму SHA256 и сравните ее с суммой, найденной в файле sha256sum.txt.

В большинстве дистрибутивов Linux сумму SHA256 можно сгенерировать, открыв терминал и выполнив следующие команды:

CD
cd ISO
sha256sum -b * .iso

Последняя команда должна показать вам сумму SHA256 вашего файла ISO.Сравните его с тем, что находится в sha256sum.txt. Если они совпадают, вы успешно проверили целостность своего ISO-образа.

Примечание. Если у вас есть coreutils версии 8.25 или новее, другой способ проверить сумму — попросить команду sha256sum проверить файл по файлу sha256sum.txt, например:

sha256sum --ignore-missing -c sha256sum.txt

Проверка подлинности

Для проверки подлинности sha256sum.txt, нам нужно проверить подпись на файле sha256sum.txt.gpg.

1. Импортируйте ключ подписи Linux Mint:

2. Проверьте подлинность файла sha256sum.txt:

CD
cd ISO
gpg --verify sha256sum.txt.gpg sha256sum.txt

Примечание. Если вы не доверяли этой подписи в прошлом или подписи, которая ей доверяла, GPG должна предупредить вас, что подпись не является надежной.Это ожидаемо и совершенно нормально.

Как проверить загруженные образы ISO

Цель

В этой статье содержится информация о проверке целостности загруженного ISO-образа перед его записью на носитель.
Поврежденные образы ISO могут вызвать проблемы во время установки. Поэтому рекомендуется проверять целостность загруженного ISO-образа.

Инструкции

Проверка целостности образа ISO в операционной системе Linux

Md5sum

Md5sum — это утилита командной строки Linux для генерации и проверки дайджестов MD5 с использованием алгоритма MD5.Это полезно для обнаружения повреждения файлов.
Страницы загрузки предоставляют дайджесты md5sum для образов ISO для проверки соответствия файла после его загрузки. Вы можете использовать md5sum для создания дайджеста md5 на вашем компьютере и сверить его с дайджестом, доступным на веб-сайте. Если они отличаются, то загруженный ISO-образ поврежден.

Синтаксис команды :

# md5sum [ОПЦИЯ] [ФАЙЛ]
Ниже приведен пример простейшей формы этой команды:
# md5sum
Дополнительные параметры команды см. На странице man для md5sum .

Sha256sum

Sha256sum — еще одна утилита командной строки Linux, используемая для вычисления и проверки алгоритма дайджеста сообщения SHA256. Наряду с Md5sum он также используется для обнаружения повреждения файлов. Страницы загрузки
также предоставляют дайджесты sha256sum для образов ISO для проверки соответствия файла после его загрузки. Вы можете использовать sha256sum для создания дайджеста sha256 на вашем компьютере и сверить его с тем, что доступно на веб-сайте. Если они отличаются, то загруженный ISO-образ поврежден.
Синтаксис команды :

# sha256sum [ОПЦИЯ] [ФАЙЛ]
Ниже приведен пример простейшей формы этой команды:
# sha256sum
Дополнительные параметры команды см. На странице man для sha256sum .

Проверка целостности образа ISO в операционной системе Windows

Средство проверки целостности контрольной суммы файла (FCIV) вычисляет и проверяет хеш-значения MD5. FCIV можно использовать в Windows 2000/2003 / XP.
Чтобы установить и использовать FCIV, выполните следующую процедуру:

Создайте новую папку с именем FCIV.
Загрузите FCIV из FCIV Загрузите и сохраните его в папке, созданной на шаге 1.
Перейдите в папку FCIV и дважды щелкните загруженный файл windows-kb841290-x86-enu.exe и следуйте инструкциям на экране.
Процесс извлекает файл fciv.exe в указанное место.
Добавить путь к fciv.exe в системной переменной окружения PATH. Например, если FCIV был установлен в каталоге C: \ FCIV, откройте командную строку и выполните следующую команду, чтобы добавить его в системный путь:
set PATH =% PATH%; C: \ FCIV
Запустите команду fciv из командной строки, чтобы сгенерировать и проверить сумму MD5.
c: \> fciv
Для получения справки и дополнительных параметров выполните следующую команду:
C: \ FCIV /?

Заявление об ограничении ответственности

Вышеупомянутый образец кода предоставляется вам как есть, без каких-либо заверений, гарантий или условий.Вы можете использовать, изменять и распространять его на свой страх и риск. CITRIX ОТКАЗЫВАЕТСЯ ОТ ВСЕХ ГАРАНТИЙ, ЯВНЫХ, ПОДРАЗУМЕВАЕМЫХ, ПИСЬМЕННЫХ, УСТНЫХ ИЛИ ЗАКОННЫХ, ВКЛЮЧАЯ БЕЗ ОГРАНИЧЕНИЯ ГАРАНТИИ КОММЕРЧЕСКОЙ ЦЕННОСТИ, ПРИГОДНОСТИ ДЛЯ КОНКРЕТНОЙ ЦЕЛИ, НАЗВАНИЯ И НЕИНФОРМИРОВАНИЯ. Не ограничивая общность вышеизложенного, вы признаете и соглашаетесь с тем, что (а) образец кода может содержать ошибки, конструктивные недостатки или другие проблемы, которые могут привести к потере данных или повреждению имущества; (b) может оказаться невозможным сделать образец кода полностью функциональным; и (c) Citrix может без уведомления или обязательств прекратить предоставлять текущую версию и / или любые будущие версии примера кода.Ни в коем случае нельзя использовать код для поддержки сверхопасных видов деятельности, включая, но не ограничиваясь, жизнеобеспечение или взрывные работы. ПРИ НАРУШЕНИИ КОНТРАКТА ИЛИ ЛЮБЫХ ДРУГИХ ТЕОРИЙ ОТВЕТСТВЕННОСТЬ ЗА ЛЮБЫЕ УБЫТКИ, КОТОРЫЕ ПРИНИМАЮТСЯ В РЕЗУЛЬТАТЕ ИСПОЛЬЗОВАНИЯ КОДА ОБРАЗЦА, ВКЛЮЧАЯ БЕЗ ОГРАНИЧЕНИЙ ДРУГИЕ ПРЯМЫЕ, ОСОБЫЕ ПРЕДВАРИТЕЛЬНЫЕ УСЛОВИЯ, БЕЗ ОГРАНИЧЕНИЙ, НЕ НЕСЕТ ОТВЕТСТВЕННОСТИ ДАЖЕ ПРИ СООБЩЕНИИ О ВОЗМОЖНОСТИ ТАКИХ УБЫТКОВ. Хотя авторские права на код принадлежат Citrix, любое распространение примера кода должно включать только ваше собственное стандартное авторское право, а не Citrix.Вы соглашаетесь освободить и защитить Citrix от любых претензий, связанных с использованием, изменением или распространением вами примера кода.

Как проверить ISO-образы в Linux

Вы только что загрузили ISO-образ вашего любимого дистрибутива Linux с официального сайта или стороннего сайта, что теперь? Создать загрузочный носитель и начать установку ОС? Нет, подождите. Перед тем, как начать его использовать, настоятельно рекомендуется убедиться, что загруженный ISO в вашей локальной системе является точной копией ISO, присутствующей в зеркалах загрузки.Потому что веб-сайт Linux Mint был взломан несколько лет назад, и хакеры создали модифицированный ISO-образ Linux Mint с бэкдором. Итак, важно проверить подлинность и целостность ваших ISO-образов Linux. Если вы не знаете, как проверить ISO-образы в Linux, вам поможет это краткое руководство. Читать дальше!

Проверка ISO-образов в Linux

Мы можем проверить ISO-образы, используя значения Checksum . Контрольная сумма — это последовательность букв и цифр, используемая для проверки данных на наличие ошибок и проверки подлинности и целостности загруженных файлов.Существуют разные типы контрольных сумм, такие как SHA-0, SHA-1, SHA-2 (224, 256, 384, 512) и MD5. Суммы MD5 были самыми популярными, но в настоящее время суммы SHA-256 в основном используются современными дистрибутивами Linux.

Мы собираемся использовать два инструмента, а именно «gpg» и «sha256» , для проверки подлинности и целостности образов ISO.

Загрузить контрольные суммы и подписи

Для целей этого руководства я собираюсь использовать ISO-образ сервера Ubuntu 18.04 LTS.Однако приведенные ниже шаги должны работать и в других дистрибутивах Linux.

В верхней части страницы загрузки Ubuntu вы увидите несколько дополнительных файлов (контрольные суммы и подписи), как показано на следующем рисунке.

Контрольная сумма и подпись Ubuntu 18.04

Здесь файл SHA256SUMS содержит контрольные суммы для всех доступных образов, а файл SHA256SUMS.gpg является подписью GnuPG для этого файла. Мы используем этот файл подписи, чтобы проверить файл контрольной суммы на последующих этапах.

Загрузите ISO-образы Ubuntu и эти два файла и поместите их все в каталог, например ISO .

  $ ls ISO / 
SHA256SUMS SHA256SUMS.gpg ubuntu-18.04.2-live-server-amd64.iso

Как видно из вышеприведенного вывода, я загрузил образ сервера Ubuntu 18.04.2 LTS вместе со значениями контрольной суммы и подписи.

Загрузите действительный ключ подписи

Теперь загрузите правильный ключ подписи с помощью команды:

 $ gpg --keyid-format long --keyserver hkp: // keyserver.ubuntu.com --recv-keys 0x46181433FBB75451 0xD94AA3F0EFE21092

Пример вывода:

 gpg: key D94AA3F0EFE21092: 57 подписей не проверены из-за отсутствия ключей
gpg: ключ D94AA3F0EFE21092: открытый ключ «Ключ автоматической подписи образа компакт-диска Ubuntu (2012) <[email protected]>» импортирован
gpg: key 46181433FBB75451: 105 подписей не проверены из-за отсутствия ключей
gpg: key 46181433FBB75451: открытый ключ «Ключ автоматической подписи образа компакт-диска Ubuntu <[email protected]>» импортирован
gpg: не найдено окончательно доверенных ключей
gpg: Всего обработано: 2
gpg: import: 2

Проверить контрольную сумму SHA-256

Затем проверьте файл контрольной суммы с помощью подписи с помощью команды:

 $ gpg --keyid-format long --verify SHA256SUMS.gpg SHA256SUMS

Пример вывода:

 gpg: Подпись сделана 15 февраля 2019 г., пятница, 04:23:33 IST
gpg: с помощью ключа DSA 46181433FBB75451
gpg:  Хорошая подпись  из «Ключ автоматической подписи образа компакт-диска Ubuntu <[электронная почта защищена]>» [неизвестно]
gpg: ВНИМАНИЕ: этот ключ не сертифицирован доверенной подписью!
gpg: нет никаких указаний на то, что подпись принадлежит владельцу.
Отпечаток первичного ключа: C598 6B4F 1257 FFA8 6632 CBA7 4618 1433 FBB7 5451
gpg: Подпись сделана 15 февраля 2019 г., пятница, 04:23:33 IST
gpg: с использованием ключа RSA D94AA3F0EFE21092
gpg:  Хорошая подпись  из «Ключ автоматической подписи образа компакт-диска Ubuntu (2012) <[электронная почта защищена]>» [неизвестно]
gpg: ВНИМАНИЕ: этот ключ не сертифицирован доверенной подписью!
gpg: нет никаких указаний на то, что подпись принадлежит владельцу.Отпечаток первичного ключа: 8439 38DF 228D 22F7 B374 2BC0 D94A A3F0 EFE2 1092

Если вы видите «Надежная подпись» в выходных данных, файл контрольной суммы создан разработчиком Ubuntu и подписан владельцем файла ключа.

Проверьте загруженный файл ISO

Затем давайте продолжим и проверим, что загруженный файл ISO соответствует контрольной сумме. Для этого просто выполните:

  $ sha256sum -c SHA256SUMS 2> & 1 | grep ОК 
ubuntu-18.04.2-live-server-amd64.iso:  OK

Если значения контрольной суммы совпадают, вы увидите сообщение «OK» .Это означает, что загруженный файл является легитимным, не изменен и не подделан.

Если вы не получаете никаких выходных данных или отличаются от указанных выше, значит, файл ISO был изменен или неправильно загружен. Вы должны повторно загрузить файл из хорошего источника.

Некоторые дистрибутивы Linux включают значение контрольной суммы на самой странице загрузки. Например, Pop! _Os Разработчики предоставили значения контрольной суммы SHA-256 для всех образов ISO на самой странице загрузки, чтобы вы могли быстро проверить образы ISO.

Суммарное значение SHA256 для Pop os на странице загрузки

После загрузки образа ISO проверьте его с помощью команды:

 $ sha256sum Soft_backup / ISOs / pop-os_18.04_amd64_intel_54.iso

Пример вывода:

  680c8278aa4503ec08ec8278e6e6e6e6e6e6e6e6e6e6e6e6e6e6eaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa /ISOs/pop-os_18.04_amd64_intel_54.iso

Pop os SHA256 sum value

Здесь случайная строка, начинающаяся с «680elaa …» , является значением контрольной суммы SHA-256.Сравните это значение со значением суммы SHA-256, указанным на странице загрузок. Если оба значения совпадают, все готово! Загруженный файл ISO является легитимным, он не изменился и не изменился по сравнению с исходным состоянием.

Вот как мы можем проверить подлинность и целостность файла ISO в Linux. Независимо от того, загружаете ли вы ISO из официальных или сторонних источников, всегда рекомендуется выполнить быструю проверку перед их использованием. Надеюсь, это было полезно.

Артикул:

Спасибо, что заглянули!

Помогите нам помочь вам:

Хорошего дня !!

Проверьте свой ISO-образ — документация по установке Linux Mint

Важно проверить целостность и подлинность вашего ISO-образа.

Загрузите суммы SHA256, предоставленные Linux Mint

Все зеркала загрузки предоставляют образы ISO, a sha256sum.txt и файл sha256sum.txt.gpg . Вы сможете найти эти файлы в том же месте, откуда вы скачали ISO-образ.

Если вы не можете их найти, просмотрите зеркало загрузки Heanet и выберите версию Linux Mint, которую вы скачали.

Загрузите sha256sum.txt и sha256sum.txt.gpg .

Не копируйте их содержимое, используйте «щелкните правой кнопкой мыши-> Сохранить ссылку как…», чтобы загрузить сами файлы и не изменять их каким-либо образом.

Проверка целостности

Чтобы проверить целостность локального файла ISO, сгенерируйте его сумму SHA256 и сравните ее с суммой, содержащейся в файле sha256sum.txt .

 sha256sum -b ваш файл.iso

Если суммы совпадают, ваш ISO-образ был успешно загружен. Если нет, скачайте его снова.

Проверка подлинности

Чтобы проверить подлинность файла sha256sum.txt , проверьте подпись файла sha256sum.txt.gpg , выполнив следующие действия.

Импортируйте ключ подписи Linux Mint:

 gpg --keyserver hkp: //keyserver.ubuntu.com: 80 --recv-key "27DE B156 44C6 B3CF 3BD7 D291 300F 846B A25B AE09"

Примечание

Если gpg жалуется на идентификатор ключа, попробуйте вместо этого следующие команды:

 gpg --keyserver hkp: //keyserver.ubuntu.com: 80 --recv-key A25BAE09
gpg --list-key --with-fingerprint A25BAE09

Проверьте вывод последней команды, чтобы убедиться, что это отпечаток 27DE B156 44C6 B3CF 3BD7 D291 300F 846B A25B AE09 (с пробелами или без них).

Проверьте подлинность sha256sum.txt:

 gpg --verify sha256sum.txt.gpg sha256sum.txt

Вывод последней команды должен сообщить вам, что подпись файла хорошая, и что он был подписан ключом A25BAE09 .

Примечание

GPG может предупредить вас, что подпись Linux Mint не доверяет вашему компьютеру. Это ожидаемо и совершенно нормально.

Обнаружение похожих изображений в Ruby

В AmberBit мы разрабатываем веб-приложения Ruby on Rails для клиентов, которые стартапы в разных сферах.Один из клиентов требовал обнаружения почти дублирующихся изображений, что позволило нам исследовать область контентно-ориентированные системы поиска изображений, существующие коммерческие решения, продвинутые алгоритмы, такие как SURF и библиотеки компьютерного зрения. Мы более чем счастлив поделиться знаниями в этом многократном сообщении в блоге серии, но мы начнем с малого с простых решений, которые могут быть просто хорошо для вас и приложения Ruby on Rails, которое вы разрабатываете.

Обнаружение идентичных изображений

Идентичные изображения — самый простой случай.Допустим, у нас есть 2 изображения содержащие логотип нашей компании, и мы хотим определить, являются ли они идентичный. Наивный подход означает вычисление контрольной суммы MD5 для обоих файлы, как это предлагается в этом Stackoverflow нить.

— logo1.png Имеются данные EXIF 

— logo2.png Нет данных EXIF 

Этот подход, однако, очень плохо работает, когда исходное изображение было удалены из метаданных EXIF (logo2.png выше), либо к нему были добавлены метаданные. Расчетный MD5 контрольная сумма файла, в котором был изменен хотя бы один байт, даст результат очень разные контрольные суммы.Это обычная проблема, например, когда вы загружать изображения в WordPress, он сохранит данные изображения, но будет по умолчанию удалите из него любые метаданные EXIF.

Лучше всего сначала извлечь пиксельные данные из изображения и вычислить Контрольные суммы MD5 только для соответствующей части изображений.

Давайте сначала посмотрим контрольные суммы для всех файлов:

  требуется 'digest / md5'
Дайджест :: MD5.file "logo1.png"
# => # <Дайджест :: MD5: bd872be474f49fc5749136299149c659>
Дайджест :: MD5.file "logo2.png "
# => #

Нет, это не сработает. Давайте попробуем только пиксельные данные:

  # Давайте попробуем только пиксельные данные:
требуется 'digest / md5'
требуется 'RMagick'
img1 = Magick :: Image.read ("logo1.png"). первый
# => logo1.png PNG 200x49 200x49 + 0 + 0 DirectClass 8-bit 8kb
img2 = Magick :: Image.read ("logo2.png"). первый
# => logo2.png PNG 200x49 200x49 + 0 + 0 DirectClass 8-bit 8kb
Дайджест :: MD5.hexdigest img1.export_pixels.join
# => "2b04ded676c6895a69fd221f64bb3e79"
Дайджест :: MD5.hexdigest img2.export_pixels.join
# => "2b04ded676c6895a69fd221f64bb3e79"

Ага, вот и все. Если у нас есть приложение Rails, мы можем хранить MD5 значение для каждого файла и, если мы хотим, проверить, было ли изображение уже загружено.

  # Добавляем в загрузчик метод md5 ()
класс AssetUploader

`Обнаружение почти идентичных изображений с перцепционным хешем`

Наш пример выше отлично подойдет, если вы хотите отфильтровать только точно те же изображения.Но если мы изменим логотип нашей компании, чтобы он отличался от один пиксель, сделайте его черно-белым или измените размер, он не сможет его обнаружить.

- logo3.png Уменьшенная версия изображения

- logo4.png Слегка измененный логотип

Самый простой способ обнаружить почти повторяющиеся изображения в Ruby - использовать библиотека phashion. Давайте посмотрим как мы можем это использовать image:

  требуется 'phashion'
img1 = Phashion :: Image.new "logo1.png"
# => # 
img3 = Phashion :: Image.new "logo3.png"
# => # 
img4 = Phashion :: Image.new "logo4.png"
# => # 
img1.duplicate? img4
# => верно
img1.duplicate? img3
# => верно
img3.duplicate? img4
# => верно

img4.fingerprint
# => 54086765383280

Похоже, что и logo3.png, и даже logo4.png были определены как дубликаты. Это великолепно! Но как действует это колдовство? Phashion вычисляет перцепционный хэш изображений, также известный как отпечатки пальцев:

  img4.отпечаток пальца
# => 54086765383280

За кулисами phashion использует библиотеку pHash с открытым исходным кодом для рассчитать значения. Этот хеш затем сохраняется в виде 64-битного целого числа. Числовое значение не имеет значения, а вы по нему нельзя судить о сходстве двух изображений.

Имеет значение расстояние между двумя значениями, которое рассчитывается как Хэмминга. расстояние вместо этого.

  Phashion.hamming_distance 54086765383280, 54076765383280
# => 13

Это расстояние определяется как количество битов, которые различаются между двумя хеши.В приведенном выше примере числовое значение отличается на 10000000000, но в двоичном формате эти два числа отличаются только 13 битами, которые имеют разные стоимость на тех же позициях. Phashion по умолчанию определяет изображения как дублируется, если хэши отличаются на 15 бит или меньше.

Хорошо, это здорово, но как именно это работает? я рекомендую вам глядя в этот легко читаемый обзор и сама документация pHash. В качестве оказывается, это не ракетостроение!

`Куда идти дальше?`

Phash очень полезен, но сравнивая изображение с большим набором других изображения будут непрактичными.Мы можем немного ускорить процесс, переместив функцию расстояния Хэмминга в нашу базу данных и создайте функцию SQL который рассчитает это для нас. Еще лучший подход - использовать один из существующие решения, такие как pg_similarity для PostgreSQL.

Подход pHash может сработать для вас. Но вы можете узнать, что это ограничения недопустимы в долгосрочной перспективе. Некоторые основные недостатки:

простота столкновения - даже очень разные изображения могут генерировать близкие хеши. Это особенно актуально для изображений с узорами.Обнаружен дубликаты вообще не будут выглядеть визуально похожими на человеческий глаз, будут иметь разных цветов и форм на них, но хеши восприятия будут близко.
performance - даже если вы используете pg_similarity или ваш собственный эквивалент, вы столкнетесь с проблемами производительности, когда ваша база данных изображений стать большим. Вы определенно не можете запрашивать миллионы изображений, вы должны вместо этого думайте максимум о тысячах.
сложность сопоставления измененных изображений - алгоритм используется в pHash вполне нормально работают со слегка измененными изображениями.Они могут справиться с масштабированием и даже отжим без сохранения соотношения неплохо. Однако они плохо выйдет из строя при любых операциях с урожаем и, скорее всего, на цвете манипуляции.

В следующих частях этой серии мы рассмотрим несколько альтернатив, которые масштабнее и обсуждать их хорошие и слабые стороны. Но если ты Любопытно, вот несколько полезных ссылок:

`Сообщение Хуберта Лепицкого`

Хуберт является партнером AmberBit. Rails, Elixir и функциональное программирование - его области знаний.

`загрузок - Где найти контрольные суммы ISO-образов Ubuntu?`

Это касается ситуации, когда контрольная сумма отсутствует на странице UbuntuHashes (например, что произошло в этом вопросе). Это несколько похоже на этот ответ здесь (этот тоже), но является скорее пошаговым руководством и конкретно объясняет, как найти контрольные суммы для любого образа ISO Ubuntu.

Каждый раз, когда на странице UbuntuHashes отсутствует хэш, вы можете проверить его на любом из серверов загрузки.Учитывая, что хеши небольшие, а официальные центральные серверы могут с меньшей вероятностью иметь поврежденные или подделанные файлы, чем другие (в любом случае, относительно небольшой риск), я бы предложил использовать для этого официальные центральные серверы.

Наиболее часто используемые ISO-образы для всех поддерживаемых в настоящее время выпусков доступны по адресу:

Для менее часто используемых образов ISO, таких как образы PowerPC и повседневные образы для версии для разработки:

Для выпусков с истекшим сроком службы (которые не следует запускать, потому что они даже не обновляются при обнаружении ошибок безопасности):

Перейдите на любой подходящий сайт и нажмите на интересующую вас версию Ubuntu.В этом примере это Ubuntu 12.04.3 LTS Precise Pangolin:

. Прокрутите вниз и щелкните файл MD5SUMS . Это их показывает. (Я воспроизвел их ниже для удобства, но, конечно, вам следует проверить реальный сайт.) ca4ecd32f1a4c6917c951f45395901ff * ubuntu-12.04.3-alternate-amd64.iso 927f06b00821cb4069ce359fe1ec7edb * ubuntu-12.04.3-альтернативный-i386.iso e2da0d5ac2ab8bedaa246869e30deb71 * ubuntu-12.04.3-рабочий стол-amd64.iso c4f4c7a0d03945b78e23d3aa4ce127dc * ubuntu-12.04.3-рабочий стол-i386.iso 2cbe868812a871242cdcdd8f2fd6feb9 * ubuntu-12.04.3-сервер-amd64.iso e7917ff0543d8248d00ffb166def849e * ubuntu-12.04.3-server-i386.iso eed92cd490736ad54e3076b168ffd7ac * ubuntu-12.04.3-wubi-amd64.tar.xz a9ea62ad52681dca4e3a832436b32ba0 * ubuntu-12.04.3-wubi-i386.tar.xz da0cd423b2b4e4b899751f05a27adba0 * wubi.exe Наконец, обратите внимание, что файл MD5SUMS.gpg является цифровой подписью проекта Ubuntu. Вряд ли кто-нибудь проверяет это в этой ситуации (насколько я знаю), но если бы вы использовали GPG для проверки и сверили с ним файл MD5SUMS , то вы бы точно знали, что они были правильными MD5SUMS .(Конечно, любой может создать файл .gpg , который выглядит правильно и подписывает файл, но он не будет проверяться как подписанный ключом проекта. ) Если вас интересует дополнительная информация о проверке подписей GPG в файлах контрольной суммы для загрузок Ubuntu, я рекомендую задать новый вопрос. Как определить, совпадают ли 2 изображения с перцепционным хешем в Python Перцепционный хэш - это сгенерированная строка (хэш), которая создается специальным алгоритмом.Этот перцепционный хэш представляет собой отпечаток пальца, основанный на некотором входном изображении, который можно использовать для сравнения изображений путем вычисления расстояния Хэмминга (которое в основном подсчитывает количество различных отдельных битов). Если вы используете другой метод хеширования для сравнения изображений, при малейшем изменении изображения будет сгенерирован совершенно другой хеш (например, MD5 или SHA1). В этой статье мы покажем вам, как сгенерировать различные версии перцептивного хэша из изображений в Python. 1.Скачать imagehash project Чтобы сравнить 2 изображения и проверить, являются ли они перцептивно одинаковыми, используя перцептивный хэш в Python, мы будем полагаться на предложение проекта imagehash от @JohannesBuchner. Этот проект представляет собой библиотеку хеширования изображений, написанную на Python, которая поддерживает: среднее хеширование (aHash) восприятие хеширования (pHash) разностное хеширование (dHash) вейвлет-хеширование (wHash) Вы можете получить исходный код этого проекта с помощью Git, используя следующую команду: git clone https: // github.com / JohannesBuchner / imagehash.git После клонирования вы сможете продолжить оставшуюся часть учебника. Для получения дополнительной информации об этой библиотеке посетите официальный репозиторий на Github здесь. 2. Установить зависимости Для правильной работы проекта imagehash предварительно требуются некоторые зависимости, их можно легко установить с помощью pip (если он не установлен, установите pip с помощью sudo apt install python-pip ) и чтения списка требований проекта, поэтому смените каталог: cd imagehash А затем установите зависимости с помощью: pip install -r conda-requirements.txt Зависимости: six: Six предоставляет простые утилиты для скрытия различий между Python 2 и Python 3. Он предназначен для поддержки кодовых баз, которые работают как на Python 2, так и на Python 3 без изменений. six состоит только из одного файла Python, поэтому его безболезненно скопировать в проект. Pillow: Pillow - это дружественная вилка PIL от Alex Clark и Contributors. PIL - это библиотека изображений Python, созданная Фредриком Лундом и участниками. numpy: NumPy - это фундаментальный пакет для научных вычислений с Python.Он содержит среди прочего. scipy: SciPy - это основанная на Python экосистема программного обеспечения с открытым исходным кодом для математики, естественных наук и инженерии. pywavelets: PyWavelets - это программное обеспечение для вейвлет-преобразования с открытым исходным кодом для Python. Он сочетает в себе простой высокоуровневый интерфейс с низкоуровневой производительностью C и Cython. После установки библиотек вы сможете использовать их и генерировать различные хэши, предлагаемые этой библиотекой. 3. Сравнение изображений Вы можете следовать этим примерам, чтобы сгенерировать различные хэши восприятия, которые могут быть сгенерированы с помощью этого проекта Python: А.Средний хеш Самый простой способ сгенерировать перцепционный хеш и, вероятно, тот, который вы выберете, можно легко реализовать, как показано в следующем примере: # example_averagehash.py # Импортировать зависимости из PIL импорта изображения импортировать imagehash # Создаем хэш-объект первого изображения HDBatmanHash = imagehash.average_hash (Image.open ('batman_hd.jpg')) print ('Batman HD Picture:' + str (HDBatmanHash)) # Создаем хэш-объект второго изображения SDBatmanHash = imagehash.average_hash (Image.open ('batman_sd.jpg')) print ('Batman HD Picture:' + str (SDBatmanHash)) # Сравните хеши, чтобы определить, совпадают ли картинки или нет если (HDBatmanHash == SDBatmanHash): print («Картинки одинаковы по восприятию!») еще: print («Картинки разные, расстояние:» + (HDBatmanHash - SDBatmanHash)) В этом случае запуск сценария с python example_averagehash.py сгенерирует следующий вывод в терминале: Бэтмен HD Изображение: 030f4f0f87070301 Бэтмен HD изображение: 030f4f0f87070301 Картинки по восприятию такие же! Поскольку изображения Бэтмена одинаковы, только первое изображение имеет более высокое разрешение, чем первое, они будут генерировать тот же хэш 030f4f0f87070301 , хотя это не один и тот же файл! Вы можете прочитать очень подробное теоретическое объяснение того, как генерируется средний хэш в этом блоге. Б. Восприятие хеширования (pHash) С вычислением перцептивного хэша, которое следует за этой реализацией, можно использовать следующим образом: # example_phash.py # Импортировать зависимости из PIL импорта изображения импортировать imagehash # Создаем хэш-объект первого изображения HDBatmanHash = imagehash.phash (Image.open ('batman_hd.jpg')) print ('Batman HD Picture:' + str (HDBatmanHash)) # Создаем хэш-объект второго изображения SDBatmanHash = imagehash.phash (Image.open ('batman_sd.jpg')) print ('Batman HD Picture:' + str (SDBatmanHash)) # Сравните хеши, чтобы определить, совпадают ли картинки или нет если (HDBatmanHash == SDBatmanHash): print («Картинки одинаковы по восприятию!») еще: print («Картинки разные, расстояние:» + (HDBatmanHash - SDBatmanHash)) В этом случае запуск сценария с python example_phash.py сгенерирует следующий вывод в терминале: Batman HD Изображение: a8d14ab75aa9c62b Бэтмен HD изображение: a8d14ab75aa9c62b Картинки по восприятию такие же! С.разностное хеширование (dHash) С вычислением разностного хэша, которое следует за этой реализацией, можно использовать следующим образом: # example_dhash.py # Импортировать зависимости из PIL импорта изображения импортировать imagehash # Создаем хэш-объект первого изображения HDBatmanHash = imagehash.dhash (Image.open ('batman_hd.jpg')) print ('Batman HD Picture:' + str (HDBatmanHash)) # Создаем хэш-объект второго изображения SDBatmanHash = imagehash.dhash (Image.open ('batman_sd.jpg')) print ('Batman HD Picture:' + str (SDBatmanHash)) # Сравните хеши, чтобы определить, совпадают ли картинки или нет если (HDBatmanHash == SDBatmanHash): print («Картинки одинаковы по восприятию!») еще: print («Картинки разные, расстояние:» + (HDBatmanHash - SDBatmanHash)) В этом случае запуск сценария с python example_dhash.py сгенерирует следующий вывод в терминале: Бэтмен HD Изображение: bf9f97372c2ebbb3 Бэтмен HD изображение: bf9f97372c2ebbb3 Картинки по восприятию такие же! Д.вейвлет-хеширование (wHash) С вычислением вейвлет-хэша, которое следует за этой реализацией, можно использовать следующим образом: # example_whash.py # Импортировать зависимости из PIL импорта изображения импортировать imagehash # Создаем хэш-объект первого изображения HDBatmanHash = imagehash.whash (Image.open ('batman_hd.jpg')) print ('Batman HD Picture:' + str (HDBatmanHash)) # Создаем хэш-объект второго изображения SDBatmanHash = imagehash.No related posts.