103.7 Lezione 2

Uno degli usi più comuni di grep è quello di facilitare l’ispezione di file lunghi, utilizzando l’espressione regolare come filtro applicato a ciascuna riga. Può essere utilizzato per mostrare solo le righe che iniziano con un certo termine. grep può essere usato per cercare in un file di configurazione i moduli del kernel, elencando solo le righe delle opzioni:

Il carattere pipe | può essere impiegato per reindirizzare l’output di un comando direttamente all’input di grep. L’esempio seguente utilizza un’espressione con parentesi quadre per selezionare le righe dall’output di fdisk -l, che iniziano con Disk /dev/sda o Disk /dev/sdb:

La semplice selezione di linee con corrispondenze potrebbe non essere appropriata per un compito particolare, richiedendo aggiustamenti al comportamento di grep attraverso le sue opzioni. Per esempio, l’opzione -c o --count dice a grep di mostrare quante righe hanno corrispondenze:

L’opzione può essere inserita prima o dopo l’espressione regolare. Altre importanti opzioni di grep sono:

Sebbene sia attivata per impostazione predefinita quando vengono forniti più percorsi di file come input, l’opzione -H non è attivata per singoli file. Ciò può essere critico in situazioni speciali, come quando grep viene chiamato direttamente da find, per esempio:

In questo esempio, find elenca tutti i file in /usr/share/doc, quindi li passa ciascuno a grep, che a sua volta esegue una ricerca senza distinzione tra maiuscole e minuscole per 3d modeling all’interno del file. Il flusso da tagliare (cut) serve solo per limitare la lunghezza di output a 100 colonne. Notare, tuttavia, che non c’è modo di sapere da quale file provengano le righe. Questo problema viene risolto aggiungendo -H a grep:

Ora è possibile identificare i file in cui è stata trovata ogni corrispondenza. Per rendere l’elenco ancora più informativo, è possibile aggiungere righe iniziali e finali alle righe con corrispondenze:

L’opzione -1 dice a grep di includere una riga prima e una riga dopo la riga trovata con una corrispondenza. Queste righe aggiuntive sono chiamate linee di contesto e sono identificate nell’output da un segno meno dopo il nome del file. Lo stesso risultato può essere ottenuto con -C 1 o --context=1 e possono essere indicate altre quantità di righe di contesto.

Ci sono due programmi complementari a grep: egrep e fgrep. Il programma egrep è equivalente al comando grep -E, che incorpora funzionalità extra oltre alle espressioni regolari di base. Per esempio, con egrep è possibile utilizzare funzionalità di espressioni regolari estese, come la ramificazione:

In questo esempio, 3D modeling o 3D printing corrisponderanno all’espressione, senza distinzione tra maiuscole e minuscole. Per visualizzare solo le parti di un flusso di testo che corrispondono all’espressione usata da egrep, utilizzare l’opzione -o.

Il programma fgrep è equivalente a grep -F, cioè non analizza le espressioni regolari: è utile nelle ricerche semplici in cui l’obiettivo è trovare una corrispondenza con un’espressione letterale. Pertanto, caratteri speciali come il simbolo del dollaro e il punto verranno presi alla lettera e non dal loro significato in un’espressione regolare.

Lo scopo del programma sed è quello di modificare i dati basati su testo in modo non interattivo. Questo significa che tutte le modifiche vengono effettuate tramite istruzioni predefinite, non digitando direttamente su un testo visualizzato a schermo. In termini "moderni", sed può essere inteso come un template parser: dato un testo come input, colloca il contenuto personalizzato in posizioni predefinite o quando trova una corrispondenza per un’espressione regolare.

Sed, come suggerisce il nome, è adatto per il testo trasmesso tramite pipeline. La sua sintassi di base è sed -f SCRIPT quando le istruzioni di modifica sono memorizzate nel file SCRIPT o sed -e COMMANDS per eseguire COMMANDS direttamente dalla riga di comando. Se non sono presenti ne -f ne -e, sed utilizza il primo parametro non di opzione come file di script. È anche possibile usare un file come input semplicemente dando il suo percorso come argomento a sed.

Le istruzioni sed sono composte da un singolo carattere, possibilmente preceduto da un indirizzo o seguite da una o più opzioni, e vengono applicate ad una riga alla volta. Gli indirizzi possono essere un numero di riga singola, un’espressione regolare o un intervallo di righe. Per esempio, la prima riga di un flusso di testo può essere eliminata con 1d, dove 1 specifica la riga in cui verrà applicato il comando di eliminazione d. Per chiarire l’uso di sed, prendi l’output del comando factor `seq 12`, che restituisce i fattori primi per i numeri da 1 a 12:

L’eliminazione della prima riga con sed si ottiene con 1d:

È possibile specificare un intervallo di righe con una virgola di separazione:

È possibile utilizzare più di un’istruzione nella stessa esecuzione, separate da punto e virgola. In questo caso, però, è importante racchiuderli tra virgolette in modo che il punto e virgola non venga interpretato dalla shell:

In questo esempio, sono state eseguite due istruzioni di cancellazione, prima sulle righe da 1 a 7 e poi sulla riga 11. Un indirizzo può anche essere un’espressione regolare, quindi solo le righe con una corrispondenza saranno influenzate dall’istruzione:

L’espressione regolare :.*2.* corrisponde a qualsiasi occorrenza del numero 2 in qualsiasi punto dopo i due punti, causando la cancellazione delle righe corrispondenti ai numeri con 2 come fattore. Con sed, qualsiasi cosa inserita tra gli slash (/) è considerata un’espressione regolare e per impostazione predefinita sono supportate tutte le RE di base. Per esempio, sed -e "/^#/d" /etc/services mostra il contenuto del file /etc/services senza le righe che iniziano con # (righe di commento).

L’istruzione di cancellazione d è solo una delle tante istruzioni di modifica fornite da sed. Invece di eliminare una riga, sed può sostituirla con un dato testo:

L’istruzione c REMOVED sostituisce semplicemente una riga con il testo REMOVED. Nel caso dell’esempio, ogni riga con una sottostringa che corrisponde all’espressione regolare :.*2.* è influenzata dall’istruzione c REMOVED. L’istruzione a TEXT copia il testo indicato da TEXT in una nuova riga dopo la riga con una corrispondenza. L’istruzione r FILE fa lo stesso, ma copia il contenuto del file indicato da FILE. L’istruzione w fa l’opposto di r, cioè la riga verrà aggiunta al file indicato.

Di gran lunga l’istruzione sed più usata è s/FIND/REPLACE/, che viene usata per sostituire una corrispondenza all’espressione regolare FIND con il testo indicato da REPLACE. Per esempio, l’istruzione s/hda/sda/ sostituisce una sottostringa che corrisponde al letterale RE hda con sda. Solo la prima corrispondenza trovata nella riga verrà sostituita, a meno che il flag g non sia posto dopo l’istruzione, come in s/hda/sda/g.

Un caso più realistico aiuterà a illustrare le caratteristiche di sed. Supponiamo che una clinica medica desideri inviare messaggi di testo ai propri clienti, ricordando loro gli appuntamenti programmati per il giorno successivo. Uno scenario di implementazione tipico si basa su un servizio di messaggistica istantanea professionale, che fornisce un’API per accedere al sistema responsabile della consegna dei messaggi. Questi messaggi di solito provengono dallo stesso sistema che esegue l’applicazione controllando gli appuntamenti del cliente, messaggi attivati a un momento specifico della giornata o da qualche specifico evento. In questa ipotetica situazione l’applicazione potrebbe generare un file chiamato appointments.csv contenente i dati tabulati con tutti gli appuntamenti per il giorno successivo, poi usato da sed per visualizzare i messaggi di testo da un file modello chiamato template.txt . I file CSV sono un modo standard per esportare i dati dalle query del database, quindi gli appuntamenti di esempio potrebbero essere forniti come segue:

La prima riga contiene le etichette per ogni colonna, che verranno utilizzate per abbinare i tag all’interno del file modello di esempio:

I segni minore di < e maggiore di > sono stati posti attorno alle etichette solo per aiutare a identificarli come tag. Il seguente script Bash analizza tutti gli appuntamenti accodati usando template.txt come modello di messaggio:

Uno script in produzione gestirà anche l’autenticazione, il controllo degli errori e la registrazione, ma l’esempio ha funzionalità di base con cui iniziare. Le prime istruzioni eseguite da sed sono applicate solo alla prima riga: l’indirizzo 1 in 1s/^"//;1s/","/\n/g;1s/"$//p — per rimuovere le virgolette iniziali e finali — 1s/^"// e 1s/"$// — e per sostituire i separatori di campo con un carattere di nuova riga: 1s /","/\n/g. Solo la prima riga è necessaria per caricare i nomi delle colonne, quindi le righe non corrispondenti verranno soppresse dall’opzione -n, richiedendo che il flag p sia posto dopo l’ultimo comando sed per stampare la riga corrispondente. I tag vengono quindi memorizzati nella variabile TAGS come un array Bash. Un’altra variabile dell'array Bash viene creata dal comando mapfile per memorizzare le righe contenenti gli appuntamenti nella variabile dell’array ROWS.

Un ciclo for viene utilizzato per elaborare ogni riga di appuntamento trovata in ROWS. Quindi, virgolette e separatori nell’appuntamento — l’appuntamento è nella variabile ${ROWS[$r]} usata come here string — vengono sostituiti da sed, in modo simile ai comandi usati per caricare i tag. I valori separati per l’appuntamento vengono quindi memorizzati nella variabile di array VALS, dove gli indici di array 0, 1 e 2 corrispondono ai valori di NAME, TIME e PHONE.

Infine, un ciclo annidato for percorre l’array TAGS e sostituisce ogni tag trovato nel modello con il valore corrispondente in VALS. La variabile MSG contiene una copia del modello renderizzato, aggiornato dal comando di sostituzione s/<${TAGS[$ c]}>/${VALS[$c]}/g ad ogni ciclo che passa attraverso TAGS.

Ciò si traduce in un messaggio visualizzato come: "Ehi Carol, non dimenticare il tuo appuntamento domani alle 11:00." Il messaggio visualizzato può quindi essere inviato come parametro tramite una richiesta HTTP con curl, come messaggio di posta elettronica o un altro metodo simile

I comandi grep e sed possono essere usati insieme quando sono richieste procedure di text mining più complesse. In qualità di amministratore di sistema, potresti voler controllare tutti i tentativi di accesso a un server. Per esempio, il file /var/log/wtmp registra tutti i login e logout, mentre il file /var/log/btmp registra i tentativi di login falliti. Sono scritti in un formato binario, che può essere letto rispettivamente dai comandi last e lastb.

L’output di lastb mostra non solo il nome utente utilizzato nel tentativo di accesso errato, ma anche il suo indirizzo IP:

L’opzione -d traduce l’indirizzo IP nel nome host corrispondente. Il nome host può fornire indizi sull’ISP o sul servizio di hosting utilizzato per eseguire questi tentativi di accesso errati. L’opzione -a inserisce il nome host nell’ultima colonna, il che facilita il filtraggio ancora da applicare. L’opzione --time-format notime sopprime l’ora in cui si è verificato il tentativo di accesso. Il comando lastb può richiedere del tempo per terminare se ci sono stati troppi tentativi di accesso errati, quindi l’output è stato limitato a dieci voci con l’opzione -n 10.

Non tutti gli IP remoti hanno un nome host associato, quindi il DNS inverso non si applica a loro e possono essere ignorati. Sebbene sia possibile scrivere un’espressione regolare che corrisponda al formato previsto per un nome host alla fine della riga, è probabilmente più semplice scrivere un’espressione regolare da abbinare a una lettera dell’alfabeto o a una singola cifra alla fine del linea. L’esempio seguente mostra come il comando grep prende l’elenco nel suo standard input e rimuove le righe senza nomi host:

L’opzione -v del comando grep mostra solo le righe che non corrispondono all’espressione regolare data. Un’espressione regolare che corrisponde a qualsiasi riga che termina con un numero (per esempio [0-9]$) catturerà solo le voci senza un nome host. Pertanto, grep -v '[0-9]$' mostrerà solo le righe che finiscono con un nome host.

L’output può essere ulteriormente filtrato, mantenendo solo il nome di dominio e rimuovendo le altre parti da ogni riga. Il comando sed può farlo con un comando di sostituzione per modificare l’intera riga con un riferimento al nome di dominio in essa contenuto:

La parentesi con escape in .* \(.*\)$ indica a sed di ricordare quella parte della riga, cioè la parte tra l’ultimo carattere di spazio e la fine della riga. Nell’esempio, questa parte viene referenziata con \ 1 e viene utilizzata la sostituzione dell’intera riga.

È chiaro che la maggior parte degli host remoti tenta di accedere più di una volta, quindi lo stesso nome di dominio si ripete. Per sopprimere le voci ripetute, prima devono essere ordinate (con il comando sort) quindi passate al comando uniq:

Questo mostra come sia possibile combinare diversi comandi per produrre il risultato desiderato. L’elenco dei nomi host può quindi essere utilizzato per scrivere regole di blocco del firewall o per adottare altre misure per rafforzare la sicurezza del server.