sed и awk в Linux: реальные примеры замены текста и разбора логов

sed и awk — это два инструмента, которые превращают хаос в структуру. Если grep просто находит строки, то sed умеет их изменять, а awk — анализировать. В этой статье мы не будем пересказывать man, а разберем реальные задачи, с которыми сталкивается каждый, кто работает в терминале.
sed: замена текста, когда файлов много
sed (Stream Editor) — это потоковый редактор. Его главная функция в повседневной работе — замена одного текста на другой.
Базовый синтаксис выглядит так:
sed 's/что_менять/на_что_менять/g' файлФлаг g (global) означает «заменить все вхождения в строке», а не только первое .
Замена в одном файле (с сохранением)
По умолчанию sed просто выводит результат на экран, не трогая файл. Чтобы изменить файл на месте, нужен флаг -i (in-place) :
sed -i 's/8080/9090/g' config.confВажное правило безопасности: Всегда делайте бэкап перед sed -i. Можно использовать суффикс для создания резервной копии автоматически :
sed -i.bak 's/old/new/g' config.confПосле выполнения у вас останется config.conf (измененный) и config.conf.bak (оригинал).
Замена во всех файлах проекта (рекурсивно)
Если нужно заменить строку во всех файлах внутри папки и её подпапок, sed используют вместе с find. Это классическая связка .
find . -type f -name "*.php" -exec sed -i 's/mysql_query/mysqli_query/g' {} +Разберем команду:
find . -type f -name "*.php"— находит все файлы с расширением.phpв текущей директории и ниже.-exec ... {} +— выполняет команду для найденных файлов, передавая их списком (это быстрее, чем по одному).sed -i 's/.../.../g'— выполняет замену прямо в файлах.
Альтернатива через xargs: Если в именах файлов могут быть пробелы, безопаснее использовать xargs с нулевым разделителем :
bash
find . -type f -name "*.php" -print0 | xargs -0 sed -i 's/mysql_query/mysqli_query/g'Сложные случаи: когда в тексте есть слэши
Если вы заменяете путь (/old/path на /new/path), стандартный разделитель / в sed создаст конфликт. Используйте другой символ, например | или ? :
sed -i 's|/old/path|/new/path|g' file.txtawk: вытащить колонку, когда нужен порядок
awk — это уже не просто редактор, а маленький язык программирования для обработки полей. Он идеально подходит, когда нужно вытащить данные из структурированного вывода.
Разбор вывода ls -l
Вывод ls -l состоит из множества колонок. awk нумерует их, начиная с единицы.
Допустим, нам нужно узнать только права доступа (первая колонка) и имена файлов (последняя колонка) для всех файлов в папке:
ls -l | awk '{print $1, $NF}'$1— это первая колонка (права, например-rw-r--r--).$NF— это последняя колонка (имя файла).NF— это встроенная переменная, означающая «Number of Fields» (количество полей). Это спасает, когда имена файлов содержат пробелы .
Если нужно вывести только имена (пропустив строку total), можно добавить условие:
ls -l | awk 'NR>1 {print $NF}'NR — это номер текущей строки (Number of Records). NR>1 пропускает первую строку .
Разбор лога: вытащить IP и статус-код
Представьте типичный лог веб-сервера (access.log). Нам нужно найти все запросы с ошибкой (статус 5xx) и вывести IP-адрес клиента и код ошибки.
Структура строки лога обычно такая: IP - - [дата] "GET /url HTTP/1.1" 200 размер.
awk '$9 ~ /^5/ {print $1, $9}' access.logРазберем:
$9— это девятая колонка (статус-код).~ /^5/— регулярное выражение: «начинается с 5».{print $1, $9}— действие: вывести первую колонку (IP) и девятую (код) .
Подсчет статистики: какие IP чаще всего стучатся?
awk умеет не только выводить, но и считать. Это классический пример анализа логов :
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10Здесь awk вытаскивает только IP-адреса, а дальше sort и uniq -c считают, сколько раз каждый IP встретился. sort -rn сортирует по убыванию, а head оставляет топ-10.
Смена разделителя: когда данные не через пробел
Если данные разделены запятыми (CSV) или двоеточиями (как в /etc/passwd), используйте флаг -F :
awk -F':' '{print $1, $7}' /etc/passwdЭта команда выведет имя пользователя и его оболочку (shell) из файла паролей.
Итог: когда что использовать
sed— когда нужно изменить текст. Замена во многих файлах, вырезание строк по шаблону, удаление комментариев.awk— когда нужно извлечь данные. Вытащить колонку, посчитать сумму, отфильтровать строки по значению в конкретном поле.
Оба инструмента работают со стандартным вводом-выводом, поэтому их можно комбинировать: grep находит нужные строки, awk вытаскивает из них колонки, а sed форматирует результат.





