建议优先改用 awk 或 sed 等流式工具处理，若必须用 Shell 循环，需避免将文件内容一次性载入变量。

完整脚本对比：错误写法 vs 正确写法

为了直观展示内存差异，以下是两种处理大日志文件的脚本对比。

❌ 错误写法（内存占用高）

#!/bin/bash
# 问题：$(cat file) 会将整个文件加载到内存变量中
content=$(cat large.log)

for line in $content; do
    # 还会因单词拆分导致含空格的行被错误处理
    echo "$line"
done

✅ 正确写法（内存占用低）

#!/bin/bash
# 优势：while read 逐行读取，不缓存全文件
while IFS= read -r line; do
    echo "$line"
done < large.log

# 更优方案：直接使用 awk 处理（速度更快）
awk '{print $1}' large.log

为什么会这样

Shell 中的命令替换操作如 $(...) 或反引号会等待内部命令执行完毕，并将所有输出存储在内存变量中。对于大日志文件，这意味着文件大小直接转化为内存占用。Bash 本身设计用于命令调度而非文本处理，awk 和 sed 等工具采用流式处理，逐行读取而不缓存全文件，因此内存占用恒定。

分步处理

1. 检查脚本中是否存在 $(cat ...)、反引号或 for in $(cat) 结构，这些是主要内存消耗点。
2. 若逻辑简单，直接用 awk/sed/grep 替代 Shell 循环。例如提取特定字段或匹配行。
3. 若必须用 Shell 逻辑，确保使用 while IFS= read -r line; do ... done < file 方式，避免管道造成的子 Shell 问题及变量缓存。
4. 检查循环内部是否调用了重型程序（如 python、java），若是，考虑批量处理而非逐行调用。

怎么验证是否生效

优化后需通过监控内存变化来验证效果。

1. 获取脚本进程 PID

不要手动查找，可使用 pgrep 命令自动获取：

pgrep -f script.sh

2. 查看内存占用 (RSS)

结合 pgrep 直接查看内存情况：

ps -o pid,rss,command -p $(pgrep -f script.sh)

3. 对比资源消耗 (注意系统兼容)

Linux 系统：使用 GNU time 查看详细内存统计。

/usr/bin/time -v ./script.sh

关注 Maximum resident set size 字段，该值应显著降低。

macOS 系统：默认 time 不支持 -v 参数。需安装 gnu-time 或使用 ps 监控。

# 安装 GNU time
brew install gnu-time

# 使用 gtime 验证
gtime -v ./script.sh

常见坑

• 特殊字符：日志中包含反斜杠或特殊符号时，read 命令需加 -r 参数防止转义。
• 编码问题：非 UTF-8 编码的日志可能导致 read 读取乱码或中断，需指定 locale。
• 空行处理：while read 默认会跳过部分空行或处理不一致，需根据业务逻辑判断是否保留。
• 文件锁定：若日志正在写入，读取可能不一致，建议配合 copytruncate 或轮转策略。