sed・awk実践ガイド：テキスト加工の定番コンビ

# 各行で最初にマッチしたものだけ置換
sed 's/old/new/' file.txt

# 各行のすべてのマッチを置換（g フラグ）
sed 's/old/new/g' file.txt

# ファイルを直接編集（-i オプション）
sed -i 's/old/new/g' file.txt

# 3行目だけ置換
sed '3s/old/new/' file.txt

# 2行目から5行目を置換
sed '2,5s/old/new/g' file.txt

# 最終行だけ置換
sed '$s/old/new/' file.txt

# パターンにマッチする行を削除
sed '/pattern/d' file.txt

# パターンにマッチした行の後に挿入
sed '/pattern/a\new line' file.txt

# パターンにマッチした行の前に挿入
sed '/pattern/i\new line' file.txt

# 特定範囲の行だけ出力（-n と p の組み合わせ）
sed -n '10,20p' file.txt

# 複数の置換を一度に実行
sed -e 's/foo/bar/g' -e 's/baz/qux/g' file.txt

# 区切り文字を変更（パスやURLの操作で便利）
sed 's|/usr/local|/opt|g' config.txt

# .env ファイルの DB_HOST を書き換え
NEW_HOST="db-prod.example.com"
sed -i "s/DB_HOST=.*/DB_HOST=${NEW_HOST}/" .env

# 特定行をコメントアウト
sed -i 's/^PermitRootLogin yes/# PermitRootLogin yes/' /etc/ssh/sshd_config

# コメントを解除
sed -i 's/^# *PermitRootLogin/PermitRootLogin/' /etc/ssh/sshd_config

# 空行を除去
sed '/^$/d' file.txt

# 先頭と末尾の空白を除去
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt

# ANSIエスケープシーケンス（色コード）を除去
sed 's/\x1b\[[0-9;]*m//g' colored-output.txt

# プロジェクト内の全 .txt ファイルで年号を一括置換
find . -name "*.txt" -exec sed -i 's/2025/2026/g' {} +

# .env.example から .env を生成しつつ値を置換
sed 's/DB_PASSWORD=changeme/DB_PASSWORD=s3cur3P@ss/' .env.example > .env

# 1列目と3列目を出力
awk '{print $1, $3}' data.tsv

# 区切り文字を指定（CSV の場合）
awk -F',' '{print $1, $2}' data.csv

# 行全体を出力（$0 は行全体）
awk '{print $0}' file.txt

# "error" を含む行だけ出力
awk '/error/ {print $0}' logfile.txt

# 3列目が100より大きい行を出力
awk '$3 > 100 {print $1, $3}' data.txt

# 複数条件の組み合わせ
awk '$3 > 100 && $2 == "active" {print $1, $3}' data.txt

# 行番号付きで出力
awk '{print NR": "$0}' file.txt

# 各行のフィールド数を表示
awk '{print NR": "NF" fields"}' data.txt

# 最終フィールドを出力
awk '{print $NF}' data.txt

# ヘッダーとフッターを付ける
awk 'BEGIN {print "Name,Score"} {print $1","$3} END {print "---done---"}' data.txt

# 2列目を合計
awk '{sum += $2} END {print "Total:", sum}' sales.txt

# 平均を計算
awk '{sum += $2; count++} END {print "Average:", sum/count}' sales.txt

# 左寄せ20文字、右寄せ10文字（小数点2桁）
awk '{printf "%-20s %10.2f\n", $1, $3}' data.txt

# カテゴリ別の売上合計（連想配列を使用）
# 入力: category,product,amount の CSV
awk -F',' '{
    sales[$1] += $3
}
END {
    for (cat in sales)
        printf "%-15s %10.0f\n", cat, sales[cat]
}' sales.csv

# 最大値・最小値・平均を一度に計算
awk 'BEGIN {max = -999999; min = 999999}
{
    sum += $2
    count++
    if ($2 > max) max = $2
    if ($2 < min) min = $2
}
END {
    printf "Max: %.2f  Min: %.2f  Avg: %.2f\n", max, min, sum/count
}' data.txt

# IPアドレス別のアクセス数（上位10件）
awk '{count[$1]++} END {for (ip in count) print count[ip], ip}' access.log | sort -rn | head -10

# HTTPステータスコード別の集計
# CLF形式: IP - - [date] "method path proto" status size
awk '{print $9}' access.log | sort | uniq -c | sort -rn

# テーブル形式でユーザー情報を表示
awk -F':' 'BEGIN {
    printf "%-20s %-6s %-6s %s\n", "USER", "UID", "GID", "HOME"
    printf "%-20s %-6s %-6s %s\n", "----", "---", "---", "----"
}
$3 >= 1000 && $3 < 65534 {
    printf "%-20s %-6s %-6s %s\n", $1, $3, $4, $6
}' /etc/passwd

# CSV のヘッダー行を除去してから3列目を集計
sed '1d' sales.csv | awk -F',' '{sum += $3} END {print "Total:", sum}'

# ログから ERROR 行を抽出し、時刻とメッセージだけ表示
sed -n '/ERROR/p' app.log | awk '{print $1, $2, substr($0, index($0,$5))}'

# /etc/passwd からシェルが bash のユーザーだけ抽出し整形
grep '/bash$' /etc/passwd | awk -F':' '{printf "%-15s UID=%-6s %s\n", $1, $3, $6}'

# syslog から今日のエラーを集計
sed -n "/$(date '+%b %e')/p" /var/log/syslog | awk '/error|fail/ {count[$5]++} END {for (s in count) print count[s], s}' | sort -rn

# 標準入力から置換
echo "hello world" | sd 'world' 'earth'

# ファイルを直接編集
sd 'old' 'new' file.txt

# 複数行マッチ（v1.1.0 以降）
sd --across 'start\n.*\nend' 'replaced' file.txt

# ステータスコード別のレスポンスサイズ合計
awk '{status[$9]++; size[$9]+=$10} END {
    for (s in status)
        printf "%s: %d requests, %.2f MB\n", s, status[s], size[s]/1024/1024
}' access.log

# BEGIN と END に挟まれたブロックを抽出
sed -n '/^BEGIN$/,/^END$/p' config.txt

# 特定の関数定義を抽出（中括弧の対応は保証しない簡易版）
sed -n '/^function setup/,/^}/p' script.sh

# TSV → CSV 変換
awk 'BEGIN {FS="\t"; OFS=","} {$1=$1; print}' data.tsv > data.csv

# CSV → パイプ区切り
awk -F',' 'BEGIN {OFS="|"} {$1=$1; print}' data.csv

# 空行の直前の行を出力（セクション末尾の行を取得）
sed -n '/^$/!{h;d}; /^$/{x;p}' file.txt