第10课: Nginx日志管理

access_log与error_log详解、日志切割、日志分析

课程简介

日志管理是Nginx运维中的重要环节，合理的日志配置可以帮助我们监控服务状态、排查问题、分析性能。本课程将深入讲解Nginx的日志系统，包括访问日志、错误日志的配置、格式定制、日志切割和分析等实用技能。

Nginx日志类型

Nginx主要有两种类型的日志：

• 访问日志（access_log）：记录所有客户端请求信息
• 错误日志（error_log）：记录Nginx运行时的错误和警告信息

客户端请求 → Nginx处理 → 记录访问日志
                    ↓
                处理过程中 → 记录错误日志（如有错误）
            

访问日志（access_log）配置

基本配置语法

# 基本语法
access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];

# 关闭访问日志
access_log off;

# 示例：默认配置
access_log /var/log/nginx/access.log;

日志格式定义

Nginx支持自定义日志格式，使用log_format指令：

# 定义日志格式
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"';

# 使用自定义格式
access_log /var/log/nginx/access.log main;

常用日志变量

高级日志配置

# 条件日志记录
map $status $loggable {
    ~^[23]  0;  # 2xx和3xx状态码不记录
    default 1;  # 其他状态码记录
}

access_log /var/log/nginx/access.log main if=$loggable;

# 缓冲日志写入（提升性能）
access_log /var/log/nginx/access.log main buffer=32k flush=5m;

# 压缩日志
access_log /var/log/nginx/access.log main gzip=1 buffer=32k;

错误日志（error_log）配置

基本配置语法

# 基本语法
error_log file [level];

# 示例：不同级别的错误日志
error_log /var/log/nginx/error.log warn;  # 记录警告及以上级别
error_log /var/log/nginx/error.log error; # 记录错误及以上级别
error_log /var/log/nginx/error.log info;  # 记录信息及以上级别

错误日志级别

日志切割和轮转

使用logrotate（推荐）

创建logrotate配置文件：

# /etc/logrotate.d/nginx
/var/log/nginx/*.log {
    daily                    # 每天轮转
    missingok               # 如果日志文件丢失，继续处理下一个
    rotate 52               # 保留52个备份文件
    compress                # 压缩旧日志
    delaycompress           # 延迟压缩（下一个轮转时压缩）
    notifempty              # 如果日志为空，不轮转
    create 0640 www-data adm  # 创建新文件时的权限和所有者
    sharedscripts           # 在所有日志处理完后执行脚本
    postrotate
        # 向Nginx发送USR1信号，重新打开日志文件
        if [ -f /var/run/nginx.pid ]; then
            kill -USR1 `cat /var/run/nginx.pid`
        fi
    endscript
}

手动日志切割

# 重命名当前日志文件
mv /var/log/nginx/access.log /var/log/nginx/access.log.$(date +%Y%m%d)
mv /var/log/nginx/error.log /var/log/nginx/error.log.$(date +%Y%m%d)

# 重新打开日志文件
nginx -s reopen

# 或者发送USR1信号
kill -USR1 $(cat /var/run/nginx.pid)

日志分析和监控

常用日志分析命令

# 查看实时访问日志
tail -f /var/log/nginx/access.log

# 统计访问量最多的IP
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10

# 统计状态码分布
awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -nr

# 统计最常访问的URL
awk '{print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10

# 查看特定时间段的日志
grep "25/Dec/2023:10" /var/log/nginx/access.log

# 统计带宽使用
awk '{sum += $10} END {print sum/1024/1024 " MB"}' /var/log/nginx/access.log

使用GoAccess进行可视化分析

# 安装GoAccess
sudo apt install goaccess

# 实时分析访问日志
goaccess /var/log/nginx/access.log -c

# 生成HTML报告
goaccess /var/log/nginx/access.log -o /var/www/html/report.html --log-format=COMBINED

# 实时监控模式
goaccess /var/log/nginx/access.log -o /var/www/html/report.html --real-time-html --daemonize

实际配置示例

生产环境日志配置

# nginx.conf
http {
    # 定义日志格式
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for" '
                    '"$request_time" "$upstream_response_time"';

    log_format json '{"@timestamp":"$time_iso8601",'
                    '"remote_addr":"$remote_addr",'
                    '"remote_user":"$remote_user",'
                    '"request":"$request",'
                    '"status":"$status",'
                    '"body_bytes_sent":"$body_bytes_sent",'
                    '"http_referer":"$http_referer",'
                    '"http_user_agent":"$http_user_agent",'
                    '"request_time":"$request_time",'
                    '"upstream_response_time":"$upstream_response_time"}';

    # 访问日志配置
    access_log /var/log/nginx/access.log main buffer=64k flush=5m;
    access_log /var/log/nginx/access.json json;
    
    # 错误日志配置
    error_log /var/log/nginx/error.log warn;
    
    server {
        listen 80;
        server_name example.com;
        
        # 为特定location关闭访问日志
        location /health {
            access_log off;
            return 200 "healthy\n";
        }
        
        location / {
            root /var/www/html;
            index index.html;
        }
    }
}

性能优化建议

安全考虑

本课总结

通过本课的学习，你应该已经掌握了：

• Nginx访问日志和错误日志的配置方法
• 自定义日志格式和常用变量
• 日志切割和轮转的最佳实践
• 日志分析和监控工具的使用
• 生产环境中的日志优化和安全考虑