103.7 Lição 2

Um dos usos mais comuns do grep é facilitar a inspeção de arquivos longos, usando a expressão regular como filtro aplicado a cada linha. Pode ser usado para mostrar apenas as linhas que começam com um determinado termo. Por exemplo, o grep pode ser usado para investigar um arquivo de configuração para módulos do kernel, listando apenas as linhas de opções:

O caractere pipe | pode ser empregado para redirecionar a saída de um comando diretamente para a entrada de grep. O exemplo a seguir usa uma expressão entre colchetes para selecionar linhas da saída de fdisk -l, começando com Disk /dev/sda ou Disk /dev/sdb:

A mera seleção de linhas com correspondências pode não ser apropriada para uma tarefa em particular, exigindo ajustes no comportamento de grep através de suas opções. Por exemplo, a opção -c ou --count diz ao grep para exibir quantas linhas têm correspondências:

A opção pode ser colocada antes ou depois da expressão regular. Outras opções importantes do grep são:

Embora ativada por padrão quando vários caminhos de arquivo são fornecidos como entrada, a opção -H não é ativada para arquivos individuais. Isso pode ser importante em situações especiais, como quando grep é chamado diretamente por find, por exemplo:

Neste exemplo, find lista todos os arquivos em /usr/share/doc e passa cada um deles para o grep, que por sua vez realiza uma busca sem distinção entre maiúsculas e minúsculas por 3d modeling dentro do arquivo. O pipe para cut existe apenas para limitar o comprimento da saída a 100 colunas. Observe, entretanto, que não há como saber de qual arquivo as linhas vieram. Esse problema é resolvido adicionando -H ao grep:

Agora é possível identificar os arquivos nos quais cada correspondência foi encontrada. Para tornar a listagem ainda mais informativa, linhas iniciais e finais podem ser adicionadas às linhas com correspondências:

A opção -1 instrui o grep a incluir uma linha antes e uma linha depois quando encontrar uma linha com uma correspondência. Essas linhas extras são chamadas de linhas de contexto e são identificadas na saída por um sinal de menos após o nome do arquivo. O mesmo resultado pode ser obtido com -C 1 ou --context=1; outras quantidades de linhas de contexto podem ser indicadas.

Existem dois programas complementares a grep: egrep e fgrep. O programa egrep é equivalente ao comando grep -E, que incorpora recursos extras além das expressões regulares básicas. Por exemplo, com o egrep é possível usar recursos de expressões regulares estendidas, como as alternâncias:

Neste exemplo, a expressão buscada corresponderá a 3D modeling ou 3D printing, sem distinção entre maiúsculas e minúsculas. Para exibir apenas as partes de um fluxo de texto que correspondem à expressão usada por egrep, use a opção -o.

O programa fgrep é equivalente a grep -F, ou seja, não analisa expressões regulares. Ele é útil em pesquisas simples, nas quais o objetivo é encontrar uma expressão literal. Portanto, caracteres especiais como o cifrão e o ponto serão interpretados literalmente e não como seus significados em uma expressão regular.

O objetivo do programa sed é modificar dados baseados em texto de forma não interativa. Isso significa que toda a edição é feita por instruções predefinidas, não por uma digitação direta e arbitrária em um texto exibido na tela. Em termos modernos, o sed pode ser entendido como um analisador de modelo: dado um texto como entrada, ele coloca um conteúdo personalizado em posições predefinidas ou quando encontra uma correspondência para uma expressão regular.

O sed é adequado para texto transmitido por meio de encadeamentos (pipelines). Sua sintaxe básica é sed -f SCRIPT, quando as instruções de edição são armazenadas no arquivo SCRIPT, ou sed -e COMANDOS para executar COMANDOS diretamente da linha de comando. Se nem -f nem -e estiverem presentes, o sed usa o primeiro parâmetro que não seja uma opção como arquivo de script. Também é possível usar um arquivo como entrada apenas fornecendo seu caminho como um argumento para o sed.

As instruções do sed são compostas por um único caractere, possivelmente precedido por um endereço ou seguido por uma ou mais opções, e são aplicadas a uma linha de cada vez. Os endereços podem ser um único número de linha, uma expressão regular ou um intervalo de linhas. Por exemplo, a primeira linha de um fluxo de texto pode ser excluída com 1d, onde 1 especifica a linha à qual o comando de exclusão d será aplicado. Para esclarecer o uso de sed, vejamos a saída do comando factor `seq 12`, que retorna os fatores primos para os números de 1 a 12:

A exclusão da primeira linha com o sed é realizada por 1d:

Especificamos um intervalo de linhas com uma vírgula de separação:

Mais de uma instrução pode ser usada na mesma execução, separadas por ponto e vírgula. Nesse caso, no entanto, é importante colocá-las entre parênteses para que o ponto e vírgula não seja interpretado pelo shell:

Neste exemplo, duas instruções de exclusão foram executadas, primeiro nas linhas que vão de 1 a 7 e depois na linha 11. Um endereço também pode ser uma expressão regular, portanto, apenas as linhas correspondentes serão afetadas pela instrução:

A expressão regular :.*2.* corresponde a qualquer ocorrência do número 2 em qualquer lugar depois de dois pontos, provocando a exclusão das linhas correspondentes aos números que tenham 2 como fator. Com o sed, qualquer coisa colocada entre barras (/) é considerada uma expressão regular e, por padrão, todas as ER básicas são suportadas. Por exemplo, sed -e "/^#/d" /etc/services mostra o conteúdo do arquivo /etc/services sem as linhas que começam com # (linhas de comentário).

A instrução de exclusão d é apenas uma das muitas instruções de edição fornecidas pelo sed. Em vez de excluir uma linha, o sed pode substituí-la por um texto determinado:

A instrução c REMOVED simplesmente substitui uma linha pelo texto REMOVED. No caso do exemplo, cada linha com uma substring correspondente à expressão regular :.*2.* é afetada pela instrução c REMOVED. A instrução a TEXT copia o texto indicado por TEXT para uma nova linha após a linha com uma correspondência. A instrução r FILE faz o mesmo, mas copia o conteúdo do arquivo indicado por FILE. A instrução w faz o oposto de r, ou seja, a linha será anexada ao arquivo indicado.

De longe, a instrução mais usada do sed é s/FIND/REPLACE/, que é usada para substituir uma correspondência da expressão regular FIND pelo texto indicado por REPLACE. Por exemplo, a instrução s/hda/sda/ substitui uma substring que corresponde à ER literal hda por sda. Apenas a primeira correspondência encontrada na linha será substituída, a menos que o sinalizador g seja colocado após a instrução, como em s/hda/sda/g.

Um estudo de caso mais realístico ajudará a ilustrar os recursos do sed. Suponha que uma clínica médica queira enviar mensagens de texto a seus clientes, lembrando-os de suas consultas agendadas para o dia seguinte. Um cenário de implementação típico depende de um serviço profissional de mensagens instantâneas, que fornece uma API para acessar o sistema responsável pela entrega das mensagens. Essas mensagens geralmente são originadas do mesmo sistema que executa o aplicativo de controle de agendamentos do cliente, acionadas por um horário específico do dia ou algum outro evento. Nessa situação hipotética, o aplicativo poderia gerar um arquivo chamado appointments.csv contendo dados tabulados com todas as consultas agendadas para o dia seguinte, que seria usado pelo sed para construir as mensagens de texto a partir de um arquivo de modelo chamado template.txt . Os arquivos CSV são uma forma padrão de exportar dados de agendamentos de banco de dados. Portanto, os dados padrão dos agendamentos poderiam ser fornecidos da seguinte forma:

A primeira linha contém os rótulos de cada coluna, que serão usados para preencher as tags dentro do arquivo de modelo:

Os sinais de menor que < e maior que > foram postos em torno dos rótulos apenas para ajudar a identificá-los como tags. O script Bash a seguir analisa todos os agendamentos da fila usando template.txt como modelo de mensagem:

Um script de produção real também cuidaria da autenticação, verificação de erros e registro, mas o exemplo mostra uma funcionalidade básica para começar. As primeiras instruções executadas pelo sed são aplicadas apenas à primeira linha — o endereço 1 em 1s/^"//;1s/","/\n/g;1s/"$//p — para remover as aspas iniciais e finais — 1s/^"// e 1s/"$// — e substituir os separadores de campo por um caractere de nova linha: 1s/","/\n/g. Apenas a primeira linha é necessária para carregar os nomes das colunas, de forma que as linhas não correspondentes serão suprimidas pela opção -n, exigindo que o sinalizador p seja colocado após o último comando sed para imprimir a linha correspondente. As tags são então armazenadas na variável TAGS como uma matriz Bash. Outra variável da matriz Bash é criada pelo comando mapfile para armazenar as linhas contendo os agendamentos na variável da matriz ROWS.

Um loop for é empregado para processar cada linha de agendamento encontrada em ROWS. Em seguida, as aspas e separadores no agendamento — o agendamento está na variável ${ROWS[$r]} usada como uma here string — são substituídos por sed, como no caso dos comandos usados para carregar as tags. Os valores separados do agendamento são então armazenados na variável de matriz VALS, onde os subscritos de matriz 0, 1 e 2 correspondem aos valores de NAME, TIME e PHONE.

Finalmente, um loop for aninhado percorre a matriz TAGS e substitui cada tag encontrada no modelo por seu valor correspondente em VALS. A variável MSG contém uma cópia do modelo gerado, atualizado pelo comando de substituição s/<${TAGS[$c]}>/${VALS[$c]}/g em cada loop que passa por TAGS.

Isso resulta em uma mensagem semelhante a: "Hey Carol, don’t forget your appointment tomorrow at 11am." (em português: "Olá, Carol. Não se esqueça de sua consulta amanhã às 11h."). A mensagem gerada pode então ser enviada como um parâmetro através de uma solicitação HTTP com curl, em forma de email ou qualquer outro método semelhante.

Os comandos grep e sed podem ser usados juntos quando uma mineração de texto mais complexa é necessária. Como administrador do sistema, você pode querer inspecionar todas as tentativas de login em um servidor, por exemplo. O arquivo /var/log/wtmp registra todos os logins e logouts, ao passo que /var/log/btmp registra as tentativas de login falhadas. Eles são escritos em um formato binário, que pode ser lido, respectivamente, pelos comandos last e lastb. A saída de lastb mostra não apenas o nome de usuário empregado na tentativa de login incorreta, mas também seu endereço IP:

A opção -d traduz o número IP para o nome de host correspondente. O nome do host pode fornecer pistas sobre o provedor de internet ou o serviço de hospedagem usado para realizar essas tentativas de login incorretas. A opção -a põe o nome do host na última coluna, o que facilita a filtragem a ser aplicada. A opção --time-format notime suprime a hora em que ocorreu a tentativa de login. O comando lastb pode levar algum tempo para ser concluído caso tenha havido muitas tentativas de login incorretas, por isso limitamos a saída a dez entradas com a opção -n 10. Nem todos os IPs remotos têm um nome de host associado, portanto o DNS reverso não se aplica e eles podem ser dispensados. Embora seja possível escrever uma expressão regular que corresponda ao formato esperado para um nome de host no final da linha, provavelmente é mais simples escrever uma que corresponda a uma letra do alfabeto ou a um único dígito no final linha. O exemplo a seguir mostra como o comando grep pega a listagem em sua entrada padrão e remove as linhas sem nomes de host:

A opção -v do comando grep exibe apenas as linhas que não correspondem à expressão regular fornecida. Uma expressão regular que corresponda a qualquer linha terminada por um número (isto é, [0-9]$) captura apenas as entradas sem um nome de host. Portanto, grep -v '[0-9]$' mostra somente as linhas que terminam com um nome de host. A filtragem da saída pode ser ainda mais refinada, mantendo-se apenas o nome de domínio e removendo as outras partes de cada linha. Para isso, usamos o comando `sed com um comando de substituição para trocar a linha inteira por um agrupamento referente ao nome de domínio contido nela:

O parêntese escapado em .* \(.*\)$ diz ao sed para lembrar aquela parte da linha, ou seja, a parte entre o último caractere de espaço e o final da linha. No exemplo, esta parte é referenciada com \1 e usada para substituir a linha inteira. Parece claro que a maioria dos hosts remotos tenta fazer o login mais de uma vez; assim, o mesmo nome de domínio se repete. Para suprimir as entradas repetidas, elas precisam primeiro ser classificadas (com o comando sort) e depois passadas para o comando uniq:

Este exemplo mostra como diferentes comandos podem ser combinados para produzir o resultado desejado. A lista de nomes de host pode então ser usada para escrever regras de firewall de bloqueio ou tomar outras medidas para garantir a segurança do servidor.