sed и awk в Linux: реальные примеры замены текста и разбора логов

sed и awk в Linux: реальные примеры замены текста и разбора логов

sed и awk — это два инструмента, которые превращают хаос в структуру. Если grep просто находит строки, то sed умеет их изменять, а awk — анализировать. В этой статье мы не будем пересказывать man, а разберем реальные задачи, с которыми сталкивается каждый, кто работает в терминале.

sed: замена текста, когда файлов много

sed (Stream Editor) — это потоковый редактор. Его главная функция в повседневной работе — замена одного текста на другой.

Базовый синтаксис выглядит так:

sed 's/что_менять/на_что_менять/g' файл

Флаг g (global) означает «заменить все вхождения в строке», а не только первое .

Замена в одном файле (с сохранением)

По умолчанию sed просто выводит результат на экран, не трогая файл. Чтобы изменить файл на месте, нужен флаг -i (in-place) :

sed -i 's/8080/9090/g' config.conf

Важное правило безопасности: Всегда делайте бэкап перед sed -i. Можно использовать суффикс для создания резервной копии автоматически :

sed -i.bak 's/old/new/g' config.conf

После выполнения у вас останется config.conf (измененный) и config.conf.bak (оригинал).

Замена во всех файлах проекта (рекурсивно)

Если нужно заменить строку во всех файлах внутри папки и её подпапок, sed используют вместе с find. Это классическая связка .

find . -type f -name "*.php" -exec sed -i 's/mysql_query/mysqli_query/g' {} +

Разберем команду:

  • find . -type f -name "*.php" — находит все файлы с расширением .php в текущей директории и ниже.

  • -exec ... {} + — выполняет команду для найденных файлов, передавая их списком (это быстрее, чем по одному).

  • sed -i 's/.../.../g' — выполняет замену прямо в файлах.

Альтернатива через xargs: Если в именах файлов могут быть пробелы, безопаснее использовать xargs с нулевым разделителем :

bash

find . -type f -name "*.php" -print0 | xargs -0 sed -i 's/mysql_query/mysqli_query/g'

Сложные случаи: когда в тексте есть слэши

Если вы заменяете путь (/old/path на /new/path), стандартный разделитель / в sed создаст конфликт. Используйте другой символ, например | или ? :

sed -i 's|/old/path|/new/path|g' file.txt

awk: вытащить колонку, когда нужен порядок

awk — это уже не просто редактор, а маленький язык программирования для обработки полей. Он идеально подходит, когда нужно вытащить данные из структурированного вывода.

Разбор вывода ls -l

Вывод ls -l состоит из множества колонок. awk нумерует их, начиная с единицы.

Допустим, нам нужно узнать только права доступа (первая колонка) и имена файлов (последняя колонка) для всех файлов в папке:

ls -l | awk '{print $1, $NF}'
  • $1 — это первая колонка (права, например -rw-r--r--).

  • $NF — это последняя колонка (имя файла). NF — это встроенная переменная, означающая «Number of Fields» (количество полей). Это спасает, когда имена файлов содержат пробелы .

Если нужно вывести только имена (пропустив строку total), можно добавить условие:

ls -l | awk 'NR>1 {print $NF}'

NR — это номер текущей строки (Number of Records). NR>1 пропускает первую строку .

Разбор лога: вытащить IP и статус-код

Представьте типичный лог веб-сервера (access.log). Нам нужно найти все запросы с ошибкой (статус 5xx) и вывести IP-адрес клиента и код ошибки.

Структура строки лога обычно такая: IP - - [дата] "GET /url HTTP/1.1" 200 размер.

awk '$9 ~ /^5/ {print $1, $9}' access.log

Разберем:

  • $9 — это девятая колонка (статус-код).

  • ~ /^5/ — регулярное выражение: «начинается с 5».

  • {print $1, $9} — действие: вывести первую колонку (IP) и девятую (код) .

Подсчет статистики: какие IP чаще всего стучатся?

awk умеет не только выводить, но и считать. Это классический пример анализа логов :

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10

Здесь awk вытаскивает только IP-адреса, а дальше sort и uniq -c считают, сколько раз каждый IP встретился. sort -rn сортирует по убыванию, а head оставляет топ-10.

Смена разделителя: когда данные не через пробел

Если данные разделены запятыми (CSV) или двоеточиями (как в /etc/passwd), используйте флаг -F :

awk -F':' '{print $1, $7}' /etc/passwd

Эта команда выведет имя пользователя и его оболочку (shell) из файла паролей.

Итог: когда что использовать

  • sed — когда нужно изменить текст. Замена во многих файлах, вырезание строк по шаблону, удаление комментариев.

  • awk — когда нужно извлечь данные. Вытащить колонку, посчитать сумму, отфильтровать строки по значению в конкретном поле.

Оба инструмента работают со стандартным вводом-выводом, поэтому их можно комбинировать: grep находит нужные строки, awk вытаскивает из них колонки, а sed форматирует результат.

Читайте также

Шифрование данных в Linux: как использовать LUKS и cryptsetup для безопасного хранения файлов

Шифрование данных в Linux: как использовать LUKS и cryptsetup для безопасного хранения файлов

Практическое руководство по созданию зашифрованных контейнеров и разделов с помощью LUKS. Как хранить резервные копии, пароли и конфиденциальные данные так, чтобы их не прочитал никто посторонний.

28