sed・awk実践ガイド：テキスト加工の定番コンビ

# 各行で最初にマッチしたものだけ置換
sed 's/old/new/' file.txt

# 各行のすべてのマッチを置換（g フラグ）
sed 's/old/new/g' file.txt

# ファイルを直接編集（-i オプション）
sed -i 's/old/new/g' file.txt

# 3行目だけ置換
sed '3s/old/new/' file.txt

# 2行目から5行目を置換
sed '2,5s/old/new/g' file.txt

# 最終行だけ置換
sed '$s/old/new/' file.txt

# パターンにマッチする行を削除
sed '/pattern/d' file.txt

# パターンにマッチした行の後に挿入
sed '/pattern/a\new line' file.txt

# パターンにマッチした行の前に挿入
sed '/pattern/i\new line' file.txt

# 特定範囲の行だけ出力（-n と p の組み合わせ）
sed -n '10,20p' file.txt

# 複数の置換を一度に実行
sed -e 's/foo/bar/g' -e 's/baz/qux/g' file.txt

# 区切り文字を変更（パスやURLの操作で便利）
sed 's|/usr/local|/opt|g' config.txt

# .env ファイルの DB_HOST を書き換え
NEW_HOST="db-prod.example.com"
sed -i "s/DB_HOST=.*/DB_HOST=${NEW_HOST}/" .env

# 特定行をコメントアウト
sed -i 's/^PermitRootLogin yes/# PermitRootLogin yes/' /etc/ssh/sshd_config

# コメントを解除
sed -i 's/^# *PermitRootLogin/PermitRootLogin/' /etc/ssh/sshd_config

# 空行を除去
sed '/^$/d' file.txt

# 先頭と末尾の空白を除去
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt

# ANSIエスケープシーケンス（色コード）を除去
sed 's/\x1b\[[0-9;]*m//g' colored-output.txt

# プロジェクト内の全 .txt ファイルで年号を一括置換
find . -name "*.txt" -exec sed -i 's/2025/2026/g' {} +

# .env.example から .env を生成しつつ値を置換
sed 's/DB_PASSWORD=changeme/DB_PASSWORD=s3cur3P@ss/' .env.example > .env

# 1列目と3列目を出力
awk '{print $1, $3}' data.tsv

# 区切り文字を指定（CSV の場合）
awk -F',' '{print $1, $2}' data.csv

# 行全体を出力（$0 は行全体）
awk '{print $0}' file.txt

# "error" を含む行だけ出力
awk '/error/ {print $0}' logfile.txt

# 3列目が100より大きい行を出力
awk '$3 > 100 {print $1, $3}' data.txt

# 複数条件の組み合わせ
awk '$3 > 100 && $2 == "active" {print $1, $3}' data.txt

# 行番号付きで出力
awk '{print NR": "$0}' file.txt

# 各行のフィールド数を表示
awk '{print NR": "NF" fields"}' data.txt

# 最終フィールドを出力
awk '{print $NF}' data.txt

# ヘッダーとフッターを付ける
awk 'BEGIN {print "Name,Score"} {print $1","$3} END {print "---done---"}' data.txt

# 2列目を合計
awk '{sum += $2} END {print "Total:", sum}' sales.txt

# 平均を計算
awk '{sum += $2; count++} END {print "Average:", sum/count}' sales.txt

# 左寄せ20文字、右寄せ10文字（小数点2桁）
awk '{printf "%-20s %10.2f\n", $1, $3}' data.txt

# カテゴリ別の売上合計（連想配列を使用）
# 入力: category,product,amount の CSV
awk -F',' '{
    sales[$1] += $3
}
END {
    for (cat in sales)
        printf "%-15s %10.0f\n", cat, sales[cat]
}' sales.csv

# 最大値・最小値・平均を一度に計算
awk 'BEGIN {max = -999999; min = 999999}
{
    sum += $2
    count++
    if ($2 > max) max = $2
    if ($2 < min) min = $2
}
END {
    printf "Max: %.2f  Min: %.2f  Avg: %.2f\n", max, min, sum/count
}' data.txt

# IPアドレス別のアクセス数（上位10件）
awk '{count[$1]++} END {for (ip in count) print count[ip], ip}' access.log | sort -rn | head -10

# HTTPステータスコード別の集計
# CLF形式: IP - - [date] "method path proto" status size
awk '{print $9}' access.log | sort | uniq -c | sort -rn

# テーブル形式でユーザー情報を表示
awk -F':' 'BEGIN {
    printf "%-20s %-6s %-6s %s\n", "USER", "UID", "GID", "HOME"
    printf "%-20s %-6s %-6s %s\n", "----", "---", "---", "----"
}
$3 >= 1000 && $3 < 65534 {
    printf "%-20s %-6s %-6s %s\n", $1, $3, $4, $6
}' /etc/passwd

# CSV のヘッダー行を除去してから3列目を集計
sed '1d' sales.csv | awk -F',' '{sum += $3} END {print "Total:", sum}'

# ログから ERROR 行を抽出し、時刻とメッセージだけ表示
sed -n '/ERROR/p' app.log | awk '{print $1, $2, substr($0, index($0,$5))}'

# /etc/passwd からシェルが bash のユーザーだけ抽出し整形
grep '/bash$' /etc/passwd | awk -F':' '{printf "%-15s UID=%-6s %s\n", $1, $3, $6}'

# syslog から今日のエラーを集計
sed -n "/$(date '+%b %e')/p" /var/log/syslog | awk '/error|fail/ {count[$5]++} END {for (s in count) print count[s], s}' | sort -rn

# 標準入力から置換
echo "hello world" | sd 'world' 'earth'

# ファイルを直接編集
sd 'old' 'new' file.txt

# 複数行マッチ（v1.1.0 以降）
sd --across 'start\n.*\nend' 'replaced' file.txt