请教关于客户端真实IP的问题

[brookqin]

现在的部署是内部局域网 k3s 部署 higress, 没有LB，手工给 higress-gateway 指定 IP，请求路径应该是 client(192.168.1.55) -> higress-ingress -> higress-gateway service(192.168.1.201) -> echo-service -> echo-pod

echo 服务获取不到真实 IP:

Request served by echo-server-5fbbdb95c8-kxj54

GET /echo HTTP/1.1

Host: 192.168.1.201
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7
Req-Start-Time: 1743315164046
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36
X-Envoy-Attempt-Count: 1
X-Envoy-Decorator-Operation: echo-server.default.svc.cluster.local:8080/echo
X-Envoy-Internal: true
X-Envoy-Original-Host: 192.168.1.201
X-Envoy-Route-Identifier: true
X-Forwarded-For: 10.42.0.1
X-Forwarded-Proto: http
X-Request-Id: 49ce91c7-d6eb-4f40-8b4c-8f23083ea92a

按照其它 issue 的讨论配置了 addXRealIpHeader: true / enableProxyProtocol: true 都无效，必须要在 gateway 上启用 externalTrafficPolicy: Local 才可以吗？

感谢🙏

[cr7258]

你是用 kubectl port-foward 的方式访问 higress-gateway 吗？

[cr7258]

10.42.0.1是什么的IP地址?

[brookqin]

是k3s节点地址的集群内部地址

[cr7258]

嗯 客户端源地址被SNAT成Node的地址了，还是需要设置externalTrafficPolicy:Local 避免SNAT

[cr7258]

不管是HTTP的X-Forwarded-For，还是TCP的Proxy Procotol都是要依据网关“看到”的IP来识别客户端的

[cr7258]

Proxy Procotol本质上也是把网关看到的IP 加到 Proxy Protocol header 中进行传递

[cr7258]

enableProxyProtocol 主要是针对非 HTTP 的 TCP 请求的，你的请求是用 HTTP 的，可以用 X-Fowarded-For Header 来标识客户端。

[CH3CHO]

HTTP 也是可以用 ProxyProtocol 的吧，但前提是 Envoy 前面的 LB 得支持 ProxyProtocol。

[cr7258]

嗯 HTTP基于TCP的，当然也可以用Proxy Protocol，不过实践中HTTP通常用XFF

[CH3CHO]

XFF 是不传递自身 IP 的。比如 A → L4LB → Higress → B。如果 L4LB 不开 ProxyProtocol，Higress 是拿不到 A 的 IP 的。而 A 作为起始客户端，它不可能把自己的 IP 作为 XFF 放到 Header 里。

[cr7258]

嗯 你这种情况中间还过了 L4的 LB，那是需要开启 ProxyProtocol 的。