Aula 18 - Processamento de Dados Textuais com AWK e SED 📊

📑 1. Fundamentos Teóricos & Análise Técnica

Na tradição da filosofia Unix, fluxos de texto puro representam a interface universal entre processos. Quando arquivos de log atingem dezenas de gigabytes, ferramentas convencionais baseadas em carregamento total em memória falham; SED e AWK processam esses fluxos linha a linha com eficiência de milissegundos e consumo ínfimo de RAM.

A distinção arquitetural entre as duas ferramentas define seu caso de uso ideal: 1. SED (Stream Editor - Editor de Fluxo): - Especializado em transformações de texto em fluxo contínuo através de seu ciclo padrão: lê uma linha do stdin para o Pattern Space, aplica comandos sequenciais e envia para o stdout. - Comandos Críticos: Substituição (s/padrao/substituto/flags), deleção de linhas (d), impressão seletiva com supressão (sed -n '/padrao/p') e o uso do Hold Space para manipulações complexas de múltiplas linhas. 2. AWK (Linguagem Completa de Processamento de Registros e Campos): - É uma linguagem de programação Turing-completa com tipagem associativa automática e foco em dados tabulares. - Modelo de Execução Orientado a Padrão-Ação: PADRÃO { AÇÃO }. - Variáveis de Sistema Fundamentais: - FS (Field Separator) e OFS (Output Field Separator). - NR (Number of Records - número total de linhas processadas) e FNR (número da linha no arquivo atual). - NF (Number of Fields - quantidade de colunas na linha corrente). - Tabelas Hash Associativas: Permitem agregações estatísticas, cálculos de médias e agrupamentos instantâneos sem dependência de bancos de dados.

📐 Arquitetura Conceitual & Diagrama de Fluxo

graph TD
    Input["Arquivo de Log Massivo (10GB Nginx/Access Log)"] --> Stream["Stream Linha a Linha (stdin)"]
    Stream --> SED["SED: Filtro e Sanitização Rápida (s///g, d)"]
    SED --> Pipe["Pipe Unix (| Sem Escrita em Disco)"]
    Pipe --> AWK["AWK: Parser de Colunas ($1, $7, $9)"]
    AWK --> Hash["Tabela Associativa: count[$status]++"]
    Hash --> End["Bloco END: Imprime Relatório Agregado Formatado"]
    style Input fill:#e1f5fe,stroke:#01579b
    style SED fill:#fff3e0,stroke:#e65100
    style AWK fill:#f3e5f5,stroke:#7b1fa2
    style End fill:#e8f5e9,stroke:#2e7d32

🔍 Pilares e Diretrizes Técnicas

Nesta unidade, aprofundamos os seguintes conceitos fundamentais: - Processamento Estritamente Linear em Memória: Capacidade de processar centenas de gigabytes de logs consumindo apenas alguns megabytes de memória RAM. - Poder dos Blocos BEGIN e END no AWK: Inicialização de estruturas e totalização de relatórios após o término do processamento das linhas. - Expressões Regulares Nativa em Ambos: Filtragem seletiva de linhas que satisfazem padrões complexos antes de cálculos aritméticos. - Edição In-Place com Backup no SED: O modificador sed -i.bak permite substituições atômicas no próprio arquivo mantendo cópia de salvaguarda.

🛠️ 2. Implementação Prática em Processamento de Texto Unix, SED e AWK

Abaixo está a implementação técnica de referência, estruturada com padrões de engenharia de software e foco em robustez:

// log_analytics_pipeline.sh (Pipeline de Análise de Acessos HTTP com SED e AWK)
#!/usr/bin/env bash
# Pipeline de alta velocidade para sumarização de tráfego HTTP

# Simulação de registros de log do Nginx (IP, Data, Método, Rota, Status, Bytes)
LOG_DATA='192.168.1.10 - [05/Sep/2026:10:00:01] "GET /api/v1/orders HTTP/1.1" 200 4521
192.168.1.15 - [05/Sep/2026:10:00:02] "POST /api/v1/login HTTP/1.1" 401 512
192.168.1.10 - [05/Sep/2026:10:00:03] "GET /api/v1/orders HTTP/1.1" 200 4521
192.168.1.20 - [05/Sep/2026:10:00:04] "GET /healthz HTTP/1.1" 200 24
192.168.1.15 - [05/Sep/2026:10:00:05] "POST /api/v1/login HTTP/1.1" 200 890'

echo "=== Relatório Agregado de Status HTTP por AWK ==="
echo "$LOG_DATA" | awk '
BEGIN {
    print "STATUS\tTOTAL_REQS\tTOTAL_BYTES"
    print "----------------------------------------"
}
{
    # $9 é o status HTTP (200, 401) e $10 são os bytes
    status = $9
    bytes = $10

    req_count[status]++
    bytes_count[status] += bytes
}
END {
    for (s in req_count) {
        printf "%s\t%d\t\t%d KB\n", s, req_count[s], bytes_count[s] / 1024
    }
}' 

💡 Análise Passo a Passo do Código

1. Uso de Arrays Associativos: A chave req_count[status] acumula contadores dinamicamente sem necessidade de declaração prévia.
2. Bloco BEGIN Declarativo: Imprime cabeçalhos formatados antes de iniciar a leitura do fluxo de dados.
3. Formatação com printf no END: Produz tabelas perfeitamente alinhadas para fácil interpretação em relatórios operacionais.

🎯 3. Próximos Passos & Sequência Didática