103.7 Урок 2

Одним із найпоширеніших застосувань grep є полегшення перевірки довгих файлів, використовуючи регулярний вираз як фільтр, що застосовується до кожного рядка. Його можна використовувати для відображення лише рядків, які починаються з певного терміна. Наприклад, grep можна використовувати для дослідження файлу конфігурації модулів ядра, перераховуючи лише рядки параметрів:

Символ | можна використовувати для перенаправлення виведення команди безпосередньо на вхід grep. У наступному прикладі використовується вираз у дужках, щоб вибрати рядки з виведення fdisk -l, починаючи з Disk /dev/sda або Disk /dev/sdb:

Просто вибірка рядків зі збігами може не підходити для конкретного завдання, що вимагає налаштувань поведінки grep за допомогою його параметрів. Наприклад, параметр -c або --count повідомляє grep, щоб показати, скільки рядків мають збіги:

Параметр може бути розміщений до або після регулярного виразу. Інші важливі параметри grep:

Незважаючи на те, що параметр -H активований за замовчуванням, коли в якості вхідних даних вказано кілька шляхів до файлів, параметр -H не активується для окремих файлів. Це може бути критичним у особливих ситуаціях, наприклад, коли grep викликається безпосередньо за допомогою find, наприклад:

У цьому прикладі find виводить кожен файл з /usr/share/doc, а потім передає кожен із них до grep, який, у свою чергу, виконує пошук без урахування регістру для 3d modeling всередині файлу. Канал cut призначений лише для обмеження довжини виводу до 100 стовпців. Зауважте, однак, що неможливо дізнатися, з якого файлу прийшли ці рядки. Ця проблема вирішується шляхом додавання -H до grep:

Тепер можна ідентифікувати файли, де було знайдено кожен збіг. Щоб зробити перелік ще більш інформативним, до рядків зі збігами можна додати початкові та кінцеві рядки:

Параметр -1 вказує grep включати один рядок перед і один рядок після, коли він знайде рядок зі збігом. Ці додаткові рядки називаються контекстними рядками і позначаються у виведенні знаком мінус після імені файлу. Такий самий результат можна отримати за допомогою -C 1 або --context=1 і може бути зазначена інша кількість контекстних рядків.

Є дві додаткові програми для grep: egrep і fgrep. Програма egrep еквівалентна команді grep -E, яка має додаткові функції, крім основних регулярних виразів. Наприклад, з egrep можна використовувати розширені функції регулярних виразів, на кшалт розгалуження:

У цьому прикладі виразу буде відповідати 3D modeling або 3D printing, без урахування регістру. Щоб відобразити лише частини текстового потоку, які відповідають виразу, використаному egrep, використовуйте параметр -o.

Програма fgrep еквівалентна grep -F, тобто вона не аналізує регулярні вирази. Це корисно під час простого пошуку, коли метою є відповідність літеральному виразу. Тому спеціальні символи, такі як знак долара та крапка, сприйматимуться буквально, а не як значення в регулярному виразі.

Метою програми sed є зміна текстових даних неінтерактивним способом. Це означає, що все редагування здійснюється за попередньо визначеними інструкціями, а не шляхом довільного введення безпосередньо тексту, що відображається на екрані. У сучасній термінології sed можна розуміти як синтаксичний аналізатор шаблонів: за умови введення тексту він розміщує користувацький вміст у попередньо визначених позиціях або коли знаходить відповідність регулярному виразу.

Sed (Stream Editor), як випливає з назви, добре підходить для потокової передачі тексту через конвеєри. Його основним синтаксисом є sed -f SCRIPT, коли інструкції редагування зберігаються у файлі SCRIPT або sed -e COMMANDS для виконання COMMANDS безпосередньо з командного рядка. Якщо -f та -e відсутні, sed використовує перший параметр як файл сценарію. Також можна використовувати файл як вхід, просто вказавши його шлях як аргумент до sed.

Інструкції sed складаються з одного символа, якому, можливо, передує адреса або за яким слідують один або кілька параметрів, і застосовуються до кожного рядка за раз. Адреси можуть числовим рядком, регулярним виразом або діапазоном рядків. Наприклад, перший рядок текстового потоку можна видалити за допомогою 1d, де 1 визначає рядок, до якого буде застосована команда видалення d. Щоб уточнити використання sed, візьміть виведення команди factor `seq 12`, яка повертає прості множники для чисел від 1 до 12:

Видалення першого рядка за допомогою sed виконується за допомогою 1d:

Діапазон рядків можна вказати розділювальною комою:

В одному виконанні можна використовувати більше ніж одну інструкцію, розділені крапкою з комою. У цьому випадку, однак, важливо вкласти їх у дужки, щоб крапка з комою не інтерпретувалася оболонкою:

У цьому прикладі було виконано дві інструкції видалення, спочатку в рядках від 1 до 7, а потім у рядку 11. Адреса також може бути регулярним виразом, тому інструкція відноситься лише до рядків зі збігом:

Регулярний вираз :.*2.* збігається з будь-яким введенням числа 2 у будь-якому місці після двокрапки, викликаючи видалення рядків, що відповідають числам, які мають 2 серед дільників. З sed все, що розміщується між косими рисками (/), вважається регулярним виразом, і за замовчуванням підтримуються всі базові регулярні вирази. Наприклад, sed -e "/^#/d" /etc/services показує вміст файлу /etc/services без рядків, що починаються з # (рядки коментарів).

Інструкція видалення d є лише однією з багатьох інструкцій редагування, наданих sed. Замість того, щоб видаляти рядок, sed може замінити його заданим текстом:

Інструкція c REMOVED просто замінює рядок текстом REMOVED. У нашому прикладі на кожен рядок з підрядком, що відповідає регулярному виразу :.*2.*, впливає інструкція c REMOVED. Інструкція a TEXT копіює текст, позначений TEXT, на новий рядок після рядка зі збігом. Інструкція r FILE робить те ж саме, але копіює вміст файлу, зазначеного як FILE. Інструкція w виконує дію, протилежну r, тобто рядок буде додано до вказаного файлу.

На сьогоднішній день найбільш часто використовуваною інструкцією sed є s/FIND/REPLACE/, яка використовується для заміни відповідності регулярному виразу FIND текстом, зазначеним як REPLACE. Наприклад, інструкція s/hda/sda/ замінює підрядок, що відповідає літералу RE hda, на sda. Буде замінено лише перший збіг, знайдений в рядку, якщо після інструкції не буде розміщено прапорець g, як у s/hda/sda/g.

Більш реалістичний приклад допоможе проілюструвати особливості sed. Припустимо, медична клініка хоче надіслати своїм клієнтам текстові повідомлення, нагадуючи їм про заплановані прийоми на наступний день. Типовий сценарій реалізації покладається на професійну службу миттєвих повідомлень, яка надає API для доступу до системи, відповідальної за доставку повідомлень. Ці повідомлення зазвичай надходять з тієї ж системи, що запускає програму, яка контролює зустрічі клієнта, ініційовані певним часом доби чи іншою подією. У цій гіпотетичній ситуації програма могла б створити файл під назвою appointments.csv, що містить табличні дані з усіма зустрічами на наступний день, а потім використати sed для відтворення текстових повідомлень із файлу шаблону під назвою template.txt . Файли CSV є стандартним способом експорту даних із запитів до бази даних, тому зразки призначених зустрічей можна надати таким чином:

Перший рядок містить мітки для кожного стовпця, які будуть використовуватися для відповідності тегам у файлі зразка шаблону:

Знаки менше < та більше > були розміщені навколо міток, щоб допомогти ідентифікувати їх як теги. Наступний сценарій Bash аналізує всі зустрічі в черзі, використовуючи template.txt як шаблон повідомлення:

Фактичний виробничий сценарій також оброблятиме автентифікацію, перевірку помилок та ведення журналу, але для початку приклад має базову функціональність. Перші інструкції, які виконує sed, застосовуються лише до першого рядка — адреса 1 у 1s/^"//;1s/","/\n/g;1s/"$//p — щоб видалити початкові та кінцеві лапки — 1s/^"// та 1s/"$// — і замінити роздільники полів символом нового рядка: 1s/","/\n/ g. Тільки перший рядок потрібен для завантаження назв стовпців, тому невідповідні рядки будуть виключені параметром -n, що вимагає розміщення прапора p після останньої команди sed для друку відповідного рядка. Потім теги зберігаються у змінній TAGS як масив Bash. Інша змінна масиву Bash створюється командою mapfile для зберігання рядків з призначеними зустрічами у змінній масиву ROWS.

Цикл for використовується для обробки кожного рядка співпадіння, знайденого в ROWS. Потім лапки та роздільники у співпадінні - співпадіння знаходиться у змінній ${ROWS[$r]}, яка використовується як here string, замінюються на sed, подібно до команд, що використовуються для завантаження тегів. Відокремлені значення для призначених зустрічей потім зберігаються у змінній масиву VALS, де індекси масиву 0, 1 і 2 відповідають значенням для NAME, TIME і PHONE.

Нарешті, вкладений цикл for проходить через масив TAGS і замінює кожен тег, знайдений у шаблоні, його відповідним значенням у VALS. Змінна MSG містить копію наданого шаблону, оновлену командою заміни s/<${TAGS[$c]}>/${VALS[$c]}/g під час кожного проходження циклу через TAGS.

Це призводить до відтворення повідомлення на кшталт: "Hey Carol, don’t forget your appointment tomorrow at 11am." Відтворене повідомлення потім можна надіслати як параметр через HTTP-запит за допомогою curl, у вигляді поштового повідомлення або будь-яким іншим подібним методом.

Команди grep і sed можна використовувати разом, коли потрібні складніші процедури аналізу тексту. Як системний адміністратор, ви можете, наприклад, перевірити всі спроби входу на сервер. Файл /var/log/wtmp записує всі сеанси входу та виходу, а файл /var/log/btmp записує невдалі спроби входу. Вони записані у двійковому форматі, який можна прочитати за допомогою команд last та lastb відповідно.

Висновок lastb показує не тільки ім’я користувача, використане під час невдалої спроби входу, але також його IP-адресу:

Параметр -d співвідносить IP-адресу відповідному імені хоста. Ім’я хоста може давати підказки про постачальника Інтернет-послуг або послугу хостингу, які використовуються для цих невдалих спроб входу. Параметр -a розміщує ім’я хоста в останньому стовпці, що полегшує фільтрацію, яку ще потрібно застосувати. Параметр --time-format notime приховує час, коли відбулася спроба входу. Завершення команди lastb може зайняти деякий час, якщо було занадто багато невдалих спроб входу, тому вихід був обмежений десятьма записами з опцією -n 10.

Не всі віддалені IP-адреси мають пов’язане ім’я хоста, тому зворотний DNS до них не застосовується, і їх можна відкинути. Хоча ви можете написати регулярний вираз для відповідності очікуваному формату імені хоста в кінці рядка, ймовірно, простіше написати регулярний вираз, щоб він відповідав літері з алфавіту або одній цифрі в кінці рядка. У наведеному нижче прикладі показано, як команда grep приймає список зі стандартного введення та видаляє рядки без імен хостів:

Опція -v команди grep показує лише рядки, які не відповідають заданому регулярному виразу. Регулярний вираз, що відповідає будь-якому рядку, що закінчується числом (тобто [0-9]$), фіксуватиме лише записи без імені хоста. Тому grep -v '[0-9]$' показуватиме лише рядки, що закінчуються ім’ям хоста.

Вихідні дані можна відфільтрувати ще більше, зберігаючи лише ім’я домену та видаляючи інші частини з кожного рядка. Команда sed може зробити це за допомогою команди заміни, щоб замінити весь рядок зворотним посиланням на ім’я домену в ньому:

Екранована дужка в .* \(.*\)$ наказує sed запам’ятати цю частину рядка, тобто частину між останнім пробілом і кінцем рядка. У прикладі на цю частину посилається \1 і використовується заміна всього рядка.

Зрозуміло, що більшість віддалених хостів намагаються ввійти більше одного разу, тому одне й те саме доменне ім’я повторюється. Щоб приховати записи, які повторюються, спочатку їх потрібно відсортувати (за допомогою команди sort), а потім передати команді uniq:

Було показано, як можна комбінувати різні команди для отримання бажаного результату. Потім список імен хостів можна використовувати для написання блокуючих правил міжмережного екрана або для вжиття інших заходів для забезпечення безпеки серверу.