dd vs kočka - je dd v těchto dnech stále relevantní?

Příkaz dd obsahuje LOTS možností, které kočka nemůže vyhovět. Možná ve vašich případech použití je kočka funkční náhradou, ale není to náhrada dd.

Jedním příkladem by bylo použití dd ke zkopírování části něčeho, ale ne celé věci. Možná budete chtít vytrhnout některé bity ze středu obrazu iso nebo tabulky oddílů z pevného disku na základě známého umístění v zařízení. Pomocí dd můžete určit možnosti spuštění, zastavení a množství, které tyto akce povolí.

Díky těmto možnostem dd je nepostradatelná pro manipulaci s jemně zrnitými daty, zatímco cat * může pracovat pouze na celých souborových objektech, zařízeních nebo proudech.

* Jak poznamenal Gilles v komentářích, je možné kombinovat cat s jinými nástroji k izolování částí něčeho, ale cat stále funguje na celém objektu.

Zatím nikdo nezmínil, že můžete použít dd k vytvoření řídké soubory , ale truncate lze také použít pro stejný účel.

dd if=/dev/zero of=sparse-file bs=1 count=1 seek=10GB

Toto je téměř okamžité a vytváří libovolný velký soubor, který lze použít například jako soubor zpětné smyčky:

loop=`losetup --show -f sparse-file`
mkfs.ext4 $loop
mkdir myloop
mount $loop myloop

Dobrá věc je, že zpočátku používá pouze jeden blok místa na disku a poté roste pouze podle potřeby (formátování ext4 10 GB souboru v mém systému spotřebuje 291 MB). Pomocí du zjistíte, kolik místa na disku se skutečně používá - ls hlásí pouze maximální velikost, do které může soubor narůstat.

Přepsat konkrétní segmenty pevného disku něčím je běžným příkladem. Například můžete chtít odstranit svůj MBR pomocí tohoto příkazu:

dd if=/dev/zero of=/dev/sda bs=446 count=1

Můžete si také vytvořit prázdné soubory (řekněme pro obrazy diskových smyček):

dd if=/dev/zero of=10mb.file bs=1024k count=10

dd je velmi užitečné pro zálohování spouštěcího sektoru pevného disku nebo jiného úložného zařízení (dd if=/dev/sda of=boot_sector.bin bs=512 count=1) a později jej přepisovat (dd if=boot_sector.bin of=/dev/sda). Podobně je to užitečné pro zálohování záhlaví šifrovaných svazků.

cat by to bylo možné zkrotit, ale v přepisovací části bych tomu nevěřil. Je obtížné přimět cat, aby četl/zapisoval pouze určitý počet bytů.

Nedávno jsem měl poprvé v mém historii linuxingu klonování některých oddílů s více než 100 s-GB (c.f cp -ar nebo rsync, které mi sloužily mnohokrát). Samozřejmě jsem se obrátil na dd 'protože každý ví, že to, co používáte ... a byl výkonem zděšen. Trocha googlingů mě brzy dovedla k ddrescue , který jsem už několikrát použil a funguje skvěle dobře (mnohem rychleji než dd).

Zde je několik triků, s nimiž jsem během let přišel ..

Vyjmout a vložit na nepřátelský tty nebo neinteraktivní režim bash

Pokud jste v situaci, kdy EOF/^ D/^ F není detekován, můžete pomocí dd přenést textové soubory na hostitele. Protože se automaticky zastaví čtení po určitém počtu bajtů.

Použil jsem to teprve nedávno v minulém roce v rámci bezpečnostního cvičení, kde jsme byli schopni získat netypické náboje na vzdáleném hostiteli a potřebovali jsme je přenést.

Ve skutečnosti jsem dokonce udělal pár binárních souborů pomocí kódování base64 a pomocí pomalého, ale spolehlivého čistě bashového dekódovacího skriptu base64.

dd of=textfile.txt bs=1 count=<size_of_data_in_paste_buffer>

Super cool trik je v tom, že zatímco běží dd, pokud mu pošlete signál USR1, bude vysílat jeho aktuální stav (čtení bytů, bajtů za sekundu ..)

niverzální filtr stavu propustnosti

Napsal jsem to, aby fungoval jako čistě bash filter pro jakýkoli program, který vydává data prostřednictvím stdout. (Poznámka: Téměř cokoli bude emitovat data prostřednictvím stdout - pro programy, které tak neučiní, můžete podvádět, pokud se vám nelíbí pomocí/dev/stdout jako názvu souboru. Tento nápad je v podstatě pokaždé, když dostanete X množství bajtů, tisk hashovacích značek (jako starý školní FTP, když jste měli hashovací režim)

(Poznámka) Věc v souboru pokroku je chromá, většinou to byl důkaz o konceptu. Kdybych to redidoval, použil bych jen proměnnou.

 dd bs=$BLKSZ of=${TMPFILE} 2>&1 \
                | grep --line-buffered -E '[[:digit:]]* bytes' \
                | awk '{ print $1 }' >> ${PROGRESS} &

 while [[ $(pidof dd) -gt 1 ]]; do

        # PROTIP: You can sleep partial seconds
        sleep .5

        # Force dd to update us on it's progress (which gets
        # redirected to $PROGRESS file.    
        pkill -USR1 dd
        local BYTES_THIS_CYCLE=$(tail -1 $PROGRESS)
        local XFER_BLKS=$(((BYTES_THIS_CYCLE-BYTES_LAST_CYCLE)/BLKSZ))

        if [ $XFER_BLKS -gt 0 ]; then
                printf "#%0.s" $(seq 0 $XFER_BLKS)
                BYTES_LAST_CYCLE=$BYTES_THIS_CYCLE
        fi
done

plátky a kostky pomocí anonymních Shell filehandles

Zde je extrémně pseudokódový příklad toho, jak můžete mít podepsaný soubor dehtu, který můžete extrahovat bez chyb, poskytnutím vstupu dehtu prostřednictvím anonymního filehandle - bez použití jakýchkoli souborů tmp k ukládání dílčích dat souboru.

generate_hash() {
    echo "yay!"
}

# Create a tar file, generate a hash, append it to the end
tar -cf log.tar /var/log/* 2>/dev/null
TARFILE_SIZE=$(stat -f "%z" log.tar)
SIGNATURE=$(generate_hash log.tar)
echo $SIGNATURE >>log.tar

# Then, later, extract without getting an error..

tar xvf <(dd if=$OLDPWD/log.tar bs=1 count=${TARFILE_SIZE})

The tl; dr je: Považuji dd za neuvěřitelně užitečné. A to jsou jen tři příklady, na které si pomyslím mimo temeno hlavy.

Můžete přesměrovat nějaký výstupní obsah. Je to zvláště užitečné, pokud potřebujete psát pomocí Sudo:

echo some_content | Sudo dd status=none of=output.txt

Kromě Sudo je to ekvivalent:

echo some_content > output.txt

nebo k tomu:

echo some_content | Sudo tee output.txt > /dev/null