码厩开发者笔记

#14 NGINX 1.31.5 Predicate Location：从按 URL 路由到按条件路由

#13 Nginx 反向代理为什么能提高网站性能？

很多人认为，Nginx 反向代理能提升网站性能，主要靠 epoll 高并发模型。其实这只是基础能力，Go、Node.js、Netty 等同样具备优秀的并发 I/O 能力。Nginx 真正的价值，是将客户端网络 I/O 与后端业务处理解耦。

最典型的场景就是慢连接。假设后端 100 毫秒就生成了一个 10MB 响应，但用户网络很慢，需要 30 秒才能下载完成。如果后端直接面对客户端，业务虽然早已处理完成，连接仍可能长期被慢客户端占用。

Nginx 位于客户端和后端之间，可以通过响应缓冲尽快接收后端数据，再按照客户端的速度慢慢发送：

后端 → Nginx：快速传输
Nginx → 客户端：慢速传输

这样后端可以更快释放连接和相关资源，继续处理新的请求。类似地，请求缓冲也可以先由 Nginx 接收客户端上传的数据，上传完成后再转发给后端。用户中途断开时，后端甚至无需参与处理。

此外，Nginx 还能承担静态资源、TLS、压缩、缓存以及上游连接复用等网络层工作，减少应用服务器的额外负担。负载均衡则可以进一步分摊多台后端服务器的请求压力。

不过，Nginx 不是万能加速器。如果 SQL 查询本身需要 800 毫秒，或者业务代码存在性能瓶颈，前面增加再多代理也无法降低单次业务处理时间。

所以，Nginx 提升性能的核心，不是让后端计算更快，而是替后端处理连接和网络传输，让后端更快释放资源，把有限的 CPU、连接和内存投入真正的业务处理，从而提升整个系统的吞吐量和稳定性。

#12 Nginx 日志配置

#11 Nginx proxy-set-header

线上环境 HTTP 服务有报获取不到 Host 信息。应该是域名，但是拿到的是 backend 这样的名字。

我第一反应肯定是 Nginx 的配置问题，我印象中 Nginx 给 upstream 转发的请求就会设置 Host 为 upstream 名称。

但是我检查了 Nginx 的配置 (nginx.conf), 在 http 这一层的配置中有 proxy_set_header Host $http_host;。

不过搜索 proxy_set_header 的时候发现，在 server 这一层设置了 proxy_set_header X-Forwarded-For $remote_addr;, 这个头在 http 这一层也设置了，没必要在设置的。

我就想到，会不会下层设置头会覆盖上一层的所有头设置。

在 Nginx 文档 (proxy_set_header) 中查到:

Allows redefining or appending fields to the request header passed to the proxied server.
The value can contain text, variables, and their combinations.
These directives are inherited from the previous configuration level if and only if there are no proxy_set_header directives defined on the current level.

当本层没有 proxy_set_header 指令的时候，才会继承上一级的 proxy_set_header 指令。

将 server 层重复的这个设置拿掉，果然就好了。

#10 Nginx 缓存导致的问题

背景：公司有两套环境，其中有一个 Web 服务，包含一个比较耗时的接口。

今天收到反馈说环境 B 中的接口每次都是半天没有反应，等执行完一次性输出，A 环境中则是流式的，一点一点输出。
然后相关同事希望 A 环境体验好一些，希望 B 环境能和 A 环境保持一致。

经过检查，发现其中一遍经过了 Nginx 的代理，马上就想到了代理缓存的问题。

联系运维修改配置，在相关 server 中添加 proxy_buffering off;，问题果然解决。

#9 Nginx 版本

Nginx Release History

参考: https://nginx.org/en/CHANGES-1.20

#8 Nginx location 指令

Syntax : location [ = | ~ | ~* | ^~ ] uri { ... }
location @name { ... }
Default: —
Context: server, location

1. 执行顺序是：完整匹配（= uri） > 前缀匹配（^~ uri/uri） > 正则匹配（~/~*）。
2. 优先级是：完整匹配 > 正则匹配 > 前缀匹配（越长优先级越高）。
3. 完整匹配、正则匹配匹配上之后直接返回，前缀匹配则不是。

#7 Nginx Request ID 实现链路追踪

https://nginx.org/en/docs/http/ngx_http_core_module.html#var_request_id

server {
    listen 80;
    server_name example.com;

    log_format main '$remote_addr - $remote_user [$time_local] '
                '"$request" $status $body_bytes_sent '
                '"$http_referer" "$http_user_agent" '
                'Request-ID: $request_id';

    add_header X-Request-ID $request_id;

    location / {
        proxy_pass http://backend_server;
        proxy_set_header X-Request-ID $request_id;
    }
}

后台服务接收到 X-Request-ID 头信息，并记录到日志中。
可以放到线程上下文，或者协程上下文中，在所有相关日志打印时都带上 X-Request-ID。

from flask import Flask, request
import logging

app = Flask(__name__)
logging.basicConfig(level=logging.INFO)

@app.route('/')
def hello():
    request_id = request.headers.get('X-Request-ID')
    logging.info(f"Request ID: {request_id} - Processing request...")
    return 'Hello, World!'

if __name__ == '__main__':
    app.run()

#6 Nginx: multi_accept

http://nginx.org/en/docs/ngx_core_module.html#multi_accept

Syntax: multi_accept on | off;
Default: multi_accept off;
Context: events

If multi_accept is disabled, a worker process will accept one new connection at a time. Otherwise, a worker process will accept all new connections at a time.

The directive is ignored if kqueue connection processing method is used, because it reports the number of new connections waiting to be accepted.

翻译

如果 multi_accept 禁用, worker 进程一次只接受一个连接
如果启用, 则会一次性接受所有连接。
如果连接处理方法为 kqueue, 则该指令被忽略, 因为 kqueue 会报告新连接的数量（然后好分配）。

PS: 关于连接处理方法, 参考 2017/02/07, Nginx 连接处理方法

理解

感觉有点迷糊, 那么究竟 multi_accept 的作用是什么呢？

Nginx 采用一个 master 进程和多个 worker 进程的模式工作。多个 worker 共享一个 socket (端口绑定), 当请求进来的时候, 被调度到的进程就会去 accept 连接。
multi_accept 的作用就是控制他一次拿走一个连接, 还是拿走所有等待中的连接。

这个参数可以让调度更加高效。如果请求数一直维持在一个很高的水平, 可以设置为 on。
但是在请求数不大的场景下, 那可能会导致同一时刻, 多个进程之间的负载就会不那么均衡, 总是 1C 干活, 7C 围观。

#5 Nginx 配置示例

# 全局配置
user nginx;
worker_processes auto;

# 事件模块
events {
    worker_connections 1024;
}

# HTTP 模块
http {
    include mime.types;

    # HTTP Server
    server {
        listen 80;
        server_name example.com;

        # 请求匹配
        location / {
            root /var/www/html;
            index index.html;
        }

        # 静态资源
        location /static/ {
            alias /var/www/static/;

            # 浏览器缓存 30 天
            expires 30d;
            add_header Cache-Control "public";
        }

        # 媒体文件
        location /media/ {
            alias /var/www/media/;

            # 浏览器缓存 7 天
            expires 7d;
            add_header Cache-Control "public";
        }

        # 反向代理示例
        location /api/ {
            proxy_pass http://backend;

            # HTTP 协议版本
            proxy_http_version 1.1;
            # 保留原始 Host
            proxy_set_header Host $host;
            # 客户端真实 IP
            proxy_set_header X-Real-IP $remote_addr;
            # 代理链路 IP
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            # 原始协议
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }
}