it-swarm-eu.dev

Il calcolo di un hash MD5 richiede meno CPU di SHA?

Il calcolo di un hash MD5 richiede meno CPU rispetto a SHA-1 o SHA-2 su hardware x86 per laptop "standard"? Sono interessato a informazioni generali, non specifiche per un determinato chip.

PDATE: Nel mio caso, sono interessato a calcolare l'hash di un file. Se la dimensione del file è importante, supponiamo che sia di 300 KB.

104
Mick

Sì, MD5 richiede un po 'meno di CPU. Sul mio Intel x86 (Core2 Quad Q6600, 2,4 GHz, usando un core), ottengo questo in modalità 32 bit:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

e questo in modalità 64 bit:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

Le cifre sono in megabyte al secondo, per un messaggio "lungo" (questo è quello che ottieni per messaggi più lunghi di 8 kB). Questo è con sphlib , una libreria di implementazioni di funzioni hash in C (e Java). Tutte le implementazioni sono dello stesso autore (io) e sono state fatte con sforzi comparabili di ottimizzazioni; quindi le differenze di velocità possono essere considerate veramente intrinseche alle funzioni.

A titolo di confronto, si consideri che un disco rigido recente funzionerà a circa 100 MB/s e qualsiasi cosa tramite USB supererà i 60 MB/s. Anche se SHA-256 appare "lento" qui, è abbastanza veloce per la maggior parte degli scopi.

Nota che OpenSSL include un'implementazione a 32 bit di SHA-512 che è abbastanza più veloce del mio codice (ma non così veloce come SHA-512 a 64 bit), poiché l'implementazione OpenSSL è in Assembly e usa i registri SSE2, cosa che non si può fare nella semplice C. SHA-512 è l'unica funzione tra quelle quattro che beneficiano di un'implementazione SSE2.

Modifica: su questa pagina , è possibile trovare un rapporto sulla velocità di molte funzioni hash (fare clic su "Telechargez manutenant "link). Il rapporto è in francese, ma è per lo più pieno di tabelle e numeri e i numeri sono internazionali. Le funzioni hash implementate non includono i candidati SHA-3 (tranne SHABAL) ma ci sto lavorando.

114
Thomas Pornin

Sul mio MacBook Air 2012 (Intel Core i5-3427U, 2x 1,8 GHz, 2,8 GHz Turbo), SHA-1 è leggermente più veloce di MD5 (utilizzando OpenSSL in modalità 64 bit):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

Aggiornamento: 10 mesi dopo con OS X 10.9, SHA-1 è diventato più lento sulla stessa macchina:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

Secondo aggiornamento: Su OS X 10.10, la velocità SHA-1 è tornata al livello 10.8:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

Terzo aggiornamento: OS X 10.14 con LibreSSL è molto più veloce (sempre sulla stessa macchina). SHA-1 esce ancora in cima:

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k
42
nwellnhof

La vera risposta è: dipende

Ci sono un paio di fattori da considerare, i più ovvi sono: la CPU su cui stai eseguendo questi algoritmi e l'implementazione degli algoritmi.

Ad esempio, io e il mio amico eseguiamo esattamente la stessa versione di openssl e otteniamo risultati leggermente diversi con cpus Intel Core i7 diverso.

Il mio test al lavoro con una CPU Intel (R) Core (TM) i7-2600 a 3,40 GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

E suo con una CPU Intel i7 (R) Core (TM) 920 a 2,67 GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

Entrambi eseguiamo gli stessi binari esatti di OpenSSL 1.0.1j 15 ottobre 2014 dal pacchetto ufficiale ArchLinux.

La mia opinione su questo è che con la maggiore sicurezza di sha1, i progettisti di CPU hanno maggiori probabilità di migliorare la velocità di sha1 e più programmatori lavoreranno sull'ottimizzazione dell'algoritmo rispetto a md5sum.

Immagino che un giorno md5 non verrà più utilizzato poiché sembra che non abbia alcun vantaggio rispetto a sha1. Ho anche testato alcuni casi su file reali e i risultati erano sempre gli stessi in entrambi i casi (probabilmente limitato dall'I/O del disco).

md5sum di un grande file da 4,6 GB ha impiegato esattamente lo stesso tempo di sha1sum dello stesso file, lo stesso vale per molti file di piccole dimensioni (488 nella stessa directory). Ho eseguito i test una dozzina di volte e stavano ottenendo costantemente gli stessi risultati.

-

Sarebbe molto interessante indagare ulteriormente su questo. Immagino che ci siano alcuni esperti in giro che potrebbero fornire una solida risposta al motivo per cui sha1 sta diventando più veloce di md5 sui processori più recenti.

10
Johnride

MD5 beneficia anche dell'utilizzo di SSE2, controlla BarsWF e poi dimmi che non lo fa. Tutto ciò che serve è una piccola conoscenza dell'assemblatore e puoi creare le tue routine MDE SSE2. Per grandi quantità di throughput, tuttavia, si verifica un compromesso della velocità durante l'hash rispetto al tempo impiegato a riordinare i dati di input per renderli compatibili con le istruzioni SIMD utilizzate.

1
Bob the Builder

sha1sum è un po 'più veloce su Power9 rispetto a md5sum

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s
0
B Abali