Алгоритм хэширования MD5
Введение
Функция хэширования H представляет собой отображение, на вход которого подаётся сообщение M произвольной длины, а на выходе получается значение h конечной длины, где h = H(M).
В общем случае хэш-значение h гораздо меньше исходного сообщения M. Так для MD5 h=128 бит. Хэш-функция должна обладать следующими свойствами:
1По достаточно большому сообщению M хэш-функция должна быстро вычислить h значение, которое должно зависеть от каждого бита сообщения M
2Необратимость: по h значению невозможно восстановить исходный текст M
3Вычислительно очень трудно (почти невозможно) найти два сообщения M и M1, которые дают два одинаковых h-значения
Хэш-значение является контрольной суммой исходного сообщения M и называется MDC (Manipulation Detection Code - код обнаружения изменений) или MIC (Message Integrity Check - проверка целостности сообщения). Если хэш-функция использует для своей работы ключ (пароль), то получаемое значение называется MAC (Message Authentication Code - код аутентичности сообщения)
Описание алгоритма MD5
Подробное официальное описание MD5 даётся в RFC 1321 (The MD5 Message-Digest Algorithm). Ниже приводиться наиболее важные детали русского перевода:
MD5 алгоритм используется в приложениях криптографии и электронно-цифровых подписей для генерации ключа шифрования. Алгоритм разработан, что бы быть достаточно быстрым на 32-битных системах и не требовать больших объемов памяти. MD5 является чуть более медленным, чем MD4, но является более устойчивым к криптографическим атакам. Далее под "словом" будет подразумеваться количество информации в 32 бита, а под "байтом" - 8 бит. Последовательность бит интерпретируется в естественной форме - как последовательность байт, где каждая группа из 8 бит является отдельным байтом, причём старший бит байта идет первым. Аналогично представляется последовательность байт, как последовательность слов, только младший байт идет первым. Предполагается, что в качестве входного потока имеется поток данных N бит. N - неотрицательное целое (возможно 0), не обязательно кратное 8. Для вычисления MD5 хэш-функции необходимо выполнить следующие 5 шагов.
Шаг 1: выравнивание потока.
Входной поток выравнивается так, что бы его длина стала конгруэнтной (сравнимой) с 448 по модулю 512. Выравнивание происходит следующим образом: к потоку добавляется один бит '1', а затем биты '0' до тех пор, пока длина потока не будет сравнима с 448 по модулю 512. Выравнивание происходит всегда, даже если длина потока была уже сравнима с 448 по модулю 512. Таким образом к потоку добавляется минимум 1 бит, максимум - 512.
Шаг 2: добавление длины.
64 битное представление длины входного потока (длины потока до выравниваия) добавляется к результату предидущего шага. Если длина потока превосходит 2^64, то добавляются младшие 64 бит. Эти биты добавляются как 2 32-битных слова, младшее слово добавляется первым. Таким образом на этом шаге длина потока становится кратной 512 битам или 16 32-битным словам. Далее будем рассматривать входной поток как массив M[0 ... N-1] слов длиной N.
Шаг 3: инициализация MD буфера.
Буфер из 4 слов {A, B, C, D} используется для вычисления хэш функции, который инициализируется в следующие значения:
A = 0x67452301
B = 0xEFCDAB89
C = 0x98BADCFE
D = 0x10325476
Шаг 4: обработка потока блоками по 16 слов.
Определим четыре вспомогательные функции, каждая из которых принимает три параметра размеров в слово и производит результат - слово.
F(x, y, z) = (x & y) | (~x & z)
G(x, y, z) = (x & z) | (y & ~z)
H(x, y, z) = x ^ y ^ z
I(x, y, z) = y ^ (x | ~z)
Напомним, что & - побитовое И, | - побитовое ИЛИ, ^ - побитовое исключающее ИЛИ, ~ - побитовое отрицание. Функция F для каждого бита дает следующий результат: если X, то Y, иначе Z.
На этом шаге также используется таблица T[1..64], которая построена с помощью функции синуса:
T<i> = int(4294967296 * abs(sin(i))), где int() - целая часть. Например:
T[1] = int(4294967296 * abs(sin(i))) = int(3614090360,282...) = 3614090360.
Также следует определить операцию x <<< y, как циклический сдвиг x влево на y бит. Теперь рассмотрим сам алгоритм вычисления MD5 хэш функции.
// обработать входной поток блоками по 16 слов
for i = 0 to N/16 - 1 do
{
// копировать блок i в X
for j = 0 to 15 do
X[j] = M[i * 16 + j]
// Сохранить значения A, B, C, D
AA = A
BB = B
CC = C
DD = D
// проход 1
// пусть [abcd k s i] обозначает операцию
// a = b + ((a + F(b, c, d) + X[k] + T<i>) <<< s)
// исполнить 16 следующих операций
[ABCD 0 7 1] [DABC 1 12 2] [CDAB 2 17 3] [BCDA 3 22 4]
[ABCD 4 7 5] [DABC 5 12 6] [CDAB 6 17 7] [BCDA 7 22 8]
[ABCD 8 7 9] [DABC 9 12 10] [CDAB 10 17 11] [BCDA 11 22 12]
[ABCD 12 7 13] [DABC 13 12 14] [CDAB 14 17 15] [BCDA 15 22 16]
// проход 2
// пусть [abcd k s i] обозначает операцию
// a = b + ((a + G(b, c, d) + X[k] + T<i>) <<< s)
// исполнить 16 следующих операций
[ABCD 1 5 17] [DABC 6 9 18] [CDAB 11 14 19] [BCDA 0 20 20]
[ABCD 5 5 21] [DABC 10 9 22] [CDAB 15 14 23] [BCDA 4 20 24]
[ABCD 9 5 25] [DABC 14 9 26] [CDAB 3 14 27] [BCDA 8 20 28]
[ABCD 13 5 29] [DABC 2 9 30] [CDAB 7 14 31] [BCDA 12 20 32]
// проход 3
// пусть [abcd k s i] обозначает операцию
// a = b + ((a + H(b, c, d) + X[k] + T<i>) <<< s)
// исполнить 16 следующих операций
[ABCD 5 4 33] [DABC 8 11 34] [CDAB 11 16 35] [BCDA 14 23 36]
[ABCD 1 4 37] [DABC 4 11 38] [CDAB 7 16 39] [BCDA 10 23 40]
[ABCD 13 4 41] [DABC 0 11 42] [CDAB 3 16 43] [BCDA 6 23 44]
[ABCD 9 4 45] [DABC 12 11 46] [CDAB 15 16 47] [BCDA 2 23 48]
// проход 4
// пусть [abcd k s i] обозначает операцию
// a = b + ((a + I(b, c, d) + X[k] + T<i>) <<< s)
// исполнить 16 следующих операций
[ABCD 0 6 49] [DABC 7 10 50] [CDAB 14 15 51] [BCDA 5 21 52]
[ABCD 12 6 53] [DABC 3 10 54] [CDAB 10 15 55] [BCDA 1 21 56]
[ABCD 8 6 57] [DABC 15 10 58] [CDAB 6 15 59] [BCDA 13 21 60]
[ABCD 4 6 61] [DABC 11 10 62] [CDAB 2 15 63] [BCDA 9 21 64]
A += AA
B += BB
C += CC
D += DD
}
Шаг 5: вывод MD5.
Результат вычисления (хэш) представлен четырьмя 32 битными словами -A, B, C, D (младшим записывается A, старшим - D). 128-битный MD5 хэш готов!
Примеры:
"a" - cc175b9c0f1b6a831c399e269772661
"abc" - 90150983cd24fb0d6963f7d28e17f72
"123456789012345678901234567890123456789012345678901234567890123456 78901234567890" - 57edf4a22be3c955ac49da2e217b67a
Разновидности MD5
На сайте wwwinsidepro.com представлен генератор хэшей. Здесь же описаны разновидности MD5:
- MD5
- MD5 (HMAC)
- MD5 (Base64)
- MD5 (Unix)
- MD5 (APR)
Теперь коротко о каждом их них:
MD5 - собственно статья ему посвящена.
MD5 (HMAC) - открываем RFC 2104 и читаем:
HMAC - Keyed-Hashing for Message Authentication (хэширование с ключом для аутентификации сообщения) - то есть это хеширование входного сообщения M с некоторым ключём K, что позволяет аутентифицировать подпись.
Общая формула HMAC:
HMAC = h (K XOR opad, H(K XOR ipad, text))
Здесь:
ipad - строка-константа, представляющая собой байт 0x36, написанный 64 раза подряд
opad - строка-константа, представляющая собой байт 0x5c, написанный 64 раза подряд
MD5 (Base64) - хеш MD5 закодированный алгоритмом Base64
MD5 (Unix) - это цикл на тысячу вызовов стандартного MD5. В своё время авторы Unix решили немного изменить формат записи хэша, вследствие чего в нём появились символы "$", "." и "/"
MD5 (APR) - фактически тот же MD5 (UNIX), только с дрогой привязкой (SALT-ом) и другим форматом - $apr.
Программы и исходные коды для генерации MD5
Платформа Ссылка
Apple IIgs http://hashtool.gwlink.net/
C http://src.openresources.com/debian/src … .2/md5sum/
http://sourceforge.net/project/showfile … p_id=42360
С#/.NET http://msdn.microsoft.com/library/defau … graphy.asp
Delphi http://www.fortunecity.com/skyscraper/t … onents.htm
Java http://java.sun.com/j2se/1.4.2/docs/api … igest.html
http://www.freevbcode.com/ShowCode.Asp?ID=741
Javascript http://pajhome.org.uk/crypt/md5/md5src.html
http://www.frez.co.uk/freecode.htm#md5
Lua http://www.inf.puc-rio.br/~roberto/md5/md5-5/md5.html
Lotus Script http://wwwendt.de/tech/md5/index.html
Macromedia Director http://www.mediamacros.com/item/item-1006687189/
masm32 http://spiff.tripnet.se/~iczelion/files/md5asm.zip
Miva http://mivo.truxoft.com/art0037.htm
MySQL http://dev.mysql.com/doc/mysql/en/encry … tions.html
Perl5 http://www.perldoc.com/perl5.8.0/lib/Digest/MD5.html
PHP http://www.php.net/manual/en/function.md5.php
PostgreSQL http://www.postgresql.org/docs/current/ … tring.html
Python http://www.python.org/doc/current/lib/module-md5.html
REBOL http://www.rebol.com/docs/words/wchecksum.html
REXX http://www.srehttp.org/apps/rexx_md5/
Scheme http://www.scheme.dk/md5/
TCL http://tcllib.sourceforge.net/doc/md5.html
Visual Basic http://www.esquadro.com.br/md5bas.zip
Программы
PasswordsPro - возможно, лучшая программа для генерации и восстановления MD5 и других хешей. Поддерживает работу с 23 видами хэш-функций.
http://www.insidepro.com/rus/passwordspro.shtml
HashCalc - это приложение для Microsoft Windows 9x, NT, ME, 2000 и XP, позволяющее генерировать 13 видов хэшей как от файла, так и от текстового сообщения
http://www.slavasoft.com/hashcalc/index.htm
MD5summer - это приложение для Microsoft Windows 9x, NT, ME, 2000 и XP, позволяющее генерировать и проверять контрольные суммы md5. Выходной файл программы совместим с выводом Linux GNU MD5Sum, MD5summer также может читать файлы, сгенерированные в Linux. Программа выпущена под лицензией General Public License, доступен исходный код.
http://ftp.citkit.ru/pub/sourceforge/m/ … ummer/?M=D
RapidCRC - это Windows-программа для проверки и расчета контрольных сумм CRC32 и MD5, поддерживающая файлы SFV и MD5. Имеется механизм включения суммы CRC32 в имя файла (распространено в выпусках аниме, например "MyFile [45DEF3A0].avi"). Разработчики ставили цель создать наиболее быстрые реализации алгоритмов контрольных сумм (на ассемблере) с открытым исходным кодом. В пакет RapidCRC входят:
CRC32: реализация на ассемблере для i386 (побайтовый табличный поиск)
MD5: реализация OpenSSL MD5 на ассемблере для i386
MD5: точная реализация описания RFC (работает медленно, доступна для компиляции, но не входит в релиз RapidCRC)
http://rapidcrc.sourceforge.net/
dupliFinder - это графическая утилита для поиска дублирующихся файлов в директориях на компьютере путем сравнения их контрольных сумм MD5. Это означает, что сравнивается содержимое файлов, а не имя. Когда одинаковые файлы найдены, их можно просмотреть и удалить. Хорошо подходит для поиска одинаковых MP3, картинок или фильмов. Программа написана на Java 1.5 и работает под Windows и Linux.
http://mwynwood.com/blog/?p=99
Взлом MD5
На данный момент доступны три вида взлома хэшей MD5:
Метод перебора по словарю
Brute-force
RainbowCrack
Для перебора по словарю или брутфорса подойдут программы PasswordsPro (http://ftp.citkit.ru/pub/sourceforge/m/ … ummer/?M=D)
MD5BFCPF (http://md5bfcpf.sourceforge.net/)
Join The Ripper (http://www.openwall.com/john/)
Словари для брутфорса можно взять отсюда:
http://www.phreak.com/html/wordlists.shtml
ftp://ftp.cerias.purdue.edu/pub/dict/
ftp://ftp.funet.fi/pub/unix/security/dictionaries/
ftp://ftp.ox.ac.uk/pub/wordlists/
Относительно новый вариант взлома хэша - RainbowCrack - основан на том, что генерируется большое количество хешей от заданного надора символа и потом произваодится поиск заданного хэша по вычисленной базе. Как правило даже на мощных машинах генерация хэшей занимает недели, зато последующий взлом производится за считанные минуты. Примерами использования Rainbow-таблиц служат следующие сайты: http://passcrack.spb.ru
http://passcracking.ru
http://Ahazu.com
http://md5crack.it-helpnet.de
http://cmho.tk
http://Plain-Text.info
http://gdataonline.com
http://hashchecker.com
http://gdataonline.com/seekhash.php
Однако можно и самому сгенерировать Rainbow-таблицы. Проект находиться по адресу: http://www.antsight.com/zsl/rainbowcrack/ Здесь же есть и подробное описание на английском о том как всё это сделать.
Заключение
Что ж, алгоритм MD5 служивший верой и правдой в течении долгих лет теперь не оправдывает себя, и любой желающий может взломать пароли длиной 8 символов и состоящих из алфавита [A-Z], [a-z], [0-9] и спецсимволов методом Rainbow-таблиц на проектах, ссылки на которые даны выше. При большей длине пароля можно сгенерировать соответствующих размеров Rainbow-таблицу и пользоваться ею. Поэтому так и хочется прокричать: ПОЛЬЗУЙТЕСЬ ДЛИННЫМИ ПАРОЛЯМИ!! И вас не поломают. =)
Автор: SelF | 98897789
взято с http://hack-expo.void.ru/
