K8S 内部使用Nginx动态代理遇到的坑

开始
no resolver defined to resolve xxxx

正常情况
K8S内部

could not be resolved (3: Host not found)
302、400、500

开始

最近在使用openResty搭建一个动态代理功能，遇到了死命的问题，弄了几天才弄好，遂记录下来。

openResty 如果不熟悉的人可以把它理解成nginx
环境是在K8S容器内部
curl http://openresty-svc/data-dashboard/card/myClueList （请求的命令）

下面是我配置的 nginx.conf

http {
    server {
        listen 80;
        server_name openresty;   
        location / {
            # 声明一个变量 host_xxxx ，并给它设置值
            # 这个xdx-wahaha-online-service-svc 是我K8S里的一个内部服务
            set $host_xxxx "xdx-wahaha-online-service-svc";
            proxy_pass http://$host_xxxx:8080;
        }
    }
}

no resolver defined to resolve xxxx

发起一个请求，报了下面的错误

2023/02/28 19:56:07 [error] 6#6: *3 no resolver defined to resolve xdx-wahaha-online-service-svc, client: 172.27.3.63, server: openresty, request: "GET /data-dashboard/card/myClueList HTTP/1.1", host: "openresty-svc"

翻译过来就是没有定义解析器来解析DNS

在nginx里面如果 proxy_pass 里面使用了变量，就必须定义一个解析器。

正常情况

如果是在正常的环境下（我上面是在 K8S里面，属于内部环境），只需要配置固定的解析器

114.114.114.114是国内移动、电信和联通通用的DNS，手机和电脑端都可以使用，干净无广告，解析成功率相对来说更高，国内用户使用的比较多，而且速度相对快、稳定，是国内用户上网常用的DNS
8.8.8.8是GOOGLE公司提供的DNS，该地址是全球通用的，相对来说，更适合国外以及访问国外网站的用户使用。
参考 https://blog.csdn.net/u011095110/article/details/84570419

具体配置 (下面三个位置都可以配置)

http {
    resolver 114.114.114.114;
    server {
        resolver 114.114.114.114;
        
        location / {
            resolver 114.114.114.114;
        
        }
    }
}

K8S内部

如果是在K8S内部就不行了，K8S内部是一个独立的网络，我们可以找到 K8S的DNS解析域名

随便找到一个 pod，输入 cat /etc/resolv.conf 你就可以看到DNS的IP和匹配规则了

# DNS的ip地址
nameserver 182.16.0.12
# 匹配规则，可以理解是后缀匹配，也就是我们的域名必须以它们结尾
search xxxxx.svc.cluster.local svc.cluster.local cluster.local
options ndots:5

找到了DNS地址，我们就可以把DNS修改为K8S内部的地址了

http {
    resolver 182.16.0.12;
    server {
        resolver 182.16.0.12;
        
        location / {
            resolver 182.16.0.12;
        
        }
    }
}

如果上面的配置还是不行，就改成 resolver 182.16.0.12 valid=30s ipv6=off;

could not be resolved (3: Host not found)

修改好上面的配置，并重启后，还是报错了

2023/02/28 21:40:47 [error] 7#7: *2 xdx-wahaha-online-service-svc could not be resolved (3: Host not found), client: 172.27.3.63, server: openresty, request: "GET /data-dashboard/card/myClueList HTTP/1.1", host: "openresty-svc"

现在是有了解析器，但是无法解析我们的域名（服务名），我们再来看一下上面找到的 DNS说明，下图是阿里云的文档解释

https://help.aliyun.com/document_detail/188179.html

大概意思就是它必须以固定的后缀进行匹配 kube-system 就是你的命名空间

然后把配置文件改成下面的，就OK了

http {
    server {
        listen 80;
        server_name openresty;   
        resolver 182.16.0.12 valid=30s ipv6=off;
        
        location / {
            # 声明一个变量 host_xxxx ，并给它设置值
            # 这个xdx-wahaha-online-service-svc 是我K8S里的一个内部服务
            set $host_xxxx "xdx-wahaha-online-service-svc.xdxnamespase.svc.cluster.local";
            proxy_pass http://$host_xxxx:8080;
        }
    }
}