Kubernetes: 通过无头服务(Headless Service)实现客户端负载均衡

写在前面

• 分享一些 K8s 中 Headless Service 的笔记
• 博文内容涉及：
• Headless Service 的简单介绍
• Headless Service 创建
• 集群内/外 获取 Headless Service对应 Pod 列表的 Demo
• 理解不足小伙伴帮忙指正

在认识一经出现时，情欲就引退。  —–昂克敌·杜伯隆：《邬布涅伽研究》第二卷第216页 —–《作为意志和表象的世界》

Headless Service 简单介绍

在某些场景中，如果我们希望自己控制 Pod 实例的负载均衡 策略,或者希望直接和 Pod 交互但是又不希望通过端口映射的方式，比如数据库根据情况做一些读写分离，或者一些应用在客户端做流量控制等，不使用 Service 提供的由 Kube-proxy 代理实现的默认负载均衡的功能。希望明确是由那几个 pod 提供能力，即直接通过 Pod 发布服务， 而不是只有一个 集群 IP Cluster IP 或者使用 NodePort、LoadBalancer、ExternalName 来发布服务。

这个时候，K8s 提供了 Headless Service ,即不为 Service 设置 ClusterIP(入口IP地址),也叫 无头服务，这里分两种情况

有选择器

第一种是有对应的服务能力提供者，即通过标签选择器选择了对应的后端能力，比如 pod,deployment,statefulset 等

在这种情况下，会通过Label Selector将被选择的后端 Pod 列表返回给调用的客户端, K8s 不会为这样的 Service 分配任何 IP， DNS 会为这些Service 的 Name 添加一系列的 A(AAA)记录(IP 地址指向)，直接指向后端映射的 Pod。 当然前提是 通过 标签选择器选择到了对应的 pod。

Kube-prosy 不会处理这类型的 Service ，没有负载均衡机制也没有请求映射，这里 Endpoint Controller 任然会创建 pod 对应的 Endpoint , 同时 Kubernetes 控制平面会在 Kubernetes API 中创建 EndpointSlice 对象

EndpointSlices 表示针对服务的后端网络端点的子集(切片),这是在 1.21 版本才出现的，提供了一种简单的方法来跟踪 Kubernetes 集群中的网络端点(network endpoints)。EndpointSlices 为 Endpoints 提供了一种可扩缩和可拓展的替代方案。

在 Kubernetes 中，EndpointSlice 包含对一组网络端点的引用。 控制面会自动为设置了选择算符的 Kubernetes Service 创建 EndpointSlice,EndpointSlice 将包含对与 Service 选择算符匹配的所有 Pod 的引用。 EndpointSlice 通过唯一的协议、端口号和 Service 名称将网络端点组织在一起

Headless Service 通过暴露的 Endpoints 列表 应用可以通过编码实现客户端的负载均衡。

没有选择器

第二种是没有对应的服务能力提供者，即没有通过选择运算符来获取当前 集群的能力，这个时候，系统不会创建对应 Endpoint ，也不会创建对应的 EndpointSlice.

这种情况下，DNS 系统会查找和配置以下之一

• 对于 type: ExternalName 服务，查找和配置其 CNAME 记录
• 对所有其他类型的服务，针对 Service 的就绪端点的所有 IP 地址，查找和配置 DNS A / AAAA 条记录
• 对于 IPv4 端点，DNS 系统创建 A 条记录。
• 对于 IPv6 端点，DNS 系统创建 AAAA 条记录。

Headless Service 创建

定义一个 Service 里面的 ClusterIP 为 None ，并且拥有 Selector 标签选择器，这样的 Service 为 Headlsee Service

查看当前 k8s 中是否存在 Headlsee

┌──[root@vms81.liruilongs.Github.io]-[~]
└─$kubectl get svc -A | grep None
awx                    awx-demo-postgres-13                              ClusterIP   None             <none>        5432/TCP                       52d
kube-system            liruilong-kube-prometheus-kubelet                 ClusterIP   None             <none>        10250/TCP,10255/TCP,4194/TCP   324d

一般情况下 SatefulSet 需要 Headless Service 来实现 Pod 的网络的一致性(必须创建此服务)，为客户端返回多个服务端地址。可以看到当前的集群中有两个 Headless Service, 一个是有状态应用(SatefulSet) postgres 数据库创建，一个是搭建 prometheus 集群监控创建的。

┌──[root@vms81.liruilongs.github.io]-[~]
└─$kubectl get svc awx-demo-postgres-13 -o yaml
apiVersion: v1
kind: Service
metadata:
  ..................
  name: awx-demo-postgres-13
  namespace: awx
spec:
  clusterIP: None
  clusterIPs:
  - None
  internalTrafficPolicy: Cluster
  ipFamilies:
  - IPv4
  ipFamilyPolicy: SingleStack
  ports:
  - port: 5432
    protocol: TCP
    targetPort: 5432
  selector:
    app.kubernetes.io/component: database
    app.kubernetes.io/instance: postgres-13-awx-demo
    app.kubernetes.io/managed-by: awx-operator
    app.kubernetes.io/name: postgres-13
    app.kubernetes.io/part-of: awx-demo
  sessionAffinity: None
  type: ClusterIP
status:
  loadBalancer: {}

这里我们可以大概的看到一个 Headless 资源文件定义，对这样的 Service 进行访问，得到的就是一个 符合选择器的全部的 Pod 列表，然后客户端去自行的处理这些 Pod 列表。上面的 Service 中，客户端访问 postgres 数据库，会返回符合当前选择器的所有 postgres pod。

下面我们来看几个实际的 Demo

有状态 Headless 服务

对于有状态服务开来讲，需要创建 StatefulSet 为其提供能力，资源文件定义,只是一个 Demo ，所以我们这里没有定义 存储卷相关。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  creationTimestamp: null
  labels:
    app: web-headless
  name: web
spec:
  serviceName: web-headless
  replicas: 3
  selector:
    matchLabels:
      app: web-headless
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: web-headless
    spec:
      containers:
        - image: Nginx
          name: nginx-web
          ports:
            - containerPort: 80
              name: nginx-web
          resources: {}

通过资源文件创建有状态的 pod

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get statefulsets.apps web  -o wide
NAME   READY   AGE   CONTAINERS   IMAGES
web    3/3     96s   nginx-web    nginx
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get pods -o wide  | grep web*
web-0                                              1/1     Running   0              2m13s   10.244.217.10    vms155.liruilongs.github.io   <none>           <none>
web-1                                              1/1     Running   0              2m11s   10.244.194.67    vms156.liruilongs.github.io   <none>           <none>
web-2                                              1/1     Running   0              114s    10.244.217.11    vms155.liruilongs.github.io   <none>           <none>

之后我们需要创建对应的 Headless Service ,这里需要注意的是 clusterIP: None,选择器：app: web-headless

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$cat headless.yaml
apiVersion: v1
kind: Service
metadata:
  name: web-headless
  labels:
    app: nginx_headless
spec:
  ports:
  - port: 30088
    targetPort: 80
    name: nginx-web-headless
  clusterIP: None
  selector:
    app: web-headless

创建对应的 Headless SVC

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl  apply  -f headless.yaml
service/web-headless configured
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get svc web-headless
NAME           TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)     AGE
web-headless   ClusterIP   None         <none>        30088/TCP   24h

可以看到，他对每个 pod 都创建了对应的 Endpoint

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe svc web-headless
Name:              web-headless
Namespace:         awx
Labels:            app=nginx_headless
Annotations:       <none>
Selector:          app=web-headless
Type:              ClusterIP
IP Family Policy:  SingleStack
IP Families:       IPv4
IP:                None
IPs:               None
Port:              nginx-web-headless  30088/TCP
TargetPort:        80/TCP
Endpoints:         10.244.194.67:80,10.244.217.10:80,10.244.217.11:80
Session Affinity:  None
Events:            <none>

可以通过不同的方式获取 Headless Service 的 Pod 列表。

集群外获取 Headless Service 的 Pod 列表

可以直接通过调用 Rest 接口的 方式获取 Headless 对应的 Endpoints，这里为了方便暴露 Rest 服务，通过  kubectl proxy 做一个内部代理。

┌──[root@vms81.liruilongs.github.io]-[~]
└─$nohup  kubectl proxy --port=30021 &
[1] 109103
┌──[root@vms81.liruilongs.github.io]-[~]
└─$nohup: 忽略输入并把输出追加到"nohup.out"

测试一下

┌──[root@vms81.liruilongs.github.io]-[~]
└─$curl http://localhost:30021/api/ -s
{
  "kind": "APIVersions",
  "versions": [
    "v1"
  ],
  "serverAddressByClientCIDRs": [
    {
      "clientCIDR": "0.0.0.0/0",
      "serverAddress": "192.168.26.81:6443"
    }
  ]
}

对于 1.21 之前的版本获取 endpoins，可以通过 Endpoints的方式获取

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe endpoints web-headless
Name:         web-headless
Namespace:    awx
Labels:       app=nginx_headless
              service.kubernetes.io/headless=
Annotations:  endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15Z
Subsets:
  Addresses:          10.244.194.67,10.244.217.10,10.244.217.11
  NotReadyAddresses:  <none>
  Ports:
    Name                Port  Protocol
    ----                ----  --------
    nginx-web-headless  80    TCP

Events:  <none>

通过 curl 调用对应的 REST 接口

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$curl -s  http://localhost:30021/api/v1/namespaces/awx/endpoints/web-headless  | jq .subsets
[
  {
    "addresses": [
      {
        "ip": "10.244.194.67",
        "hostname": "web-1",
        "nodeName": "vms156.liruilongs.github.io",
        "targetRef": {
          "kind": "Pod",
          "namespace": "awx",
          "name": "web-1",
          "uid": "d71722db-1c41-44ee-a55d-0042c7d2086e",
          "resourceVersion": "14843070"
        }
      },
      {
        "ip": "10.244.217.10",
        "hostname": "web-0",
        "nodeName": "vms155.liruilongs.github.io",
        "targetRef": {
          "kind": "Pod",
          "namespace": "awx",
          "name": "web-0",
          "uid": "7fa21492-d0f5-4840-8517-a05ed04651a4",
          "resourceVersion": "14843008"
        }
      },
      {
        "ip": "10.244.217.11",
        "hostname": "web-2",
        "nodeName": "vms155.liruilongs.github.io",
        "targetRef": {
          "kind": "Pod",
          "namespace": "awx",
          "name": "web-2",
          "uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27",
          "resourceVersion": "14843135"
        }
      }
    ],
    "ports": [
      {
        "name": "nginx-web-headless",
        "port": 80,
        "protocol": "TCP"
      }
    ]
  }
]

如果使用的 1.21 以及之后的版本，我们可以通过 EndpointSlicp 来获取对应的 pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe endpointslices web-headless-888xr
Name:         web-headless-888xr
Namespace:    awx
Labels:       app=nginx_headless
              endpointslice.kubernetes.io/managed-by=endpointslice-controller.k8s.io
              kubernetes.io/service-name=web-headless
              service.kubernetes.io/headless=
Annotations:  endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15Z
AddressType:  IPv4
Ports:
  Name                Port  Protocol
  ----                ----  --------
  nginx-web-headless  80    TCP
Endpoints:
  - Addresses:  10.244.217.10
    Conditions:
      Ready:    true
    Hostname:   web-0
    TargetRef:  Pod/web-0
    NodeName:   vms155.liruilongs.github.io
    Zone:       <unset>
  - Addresses:  10.244.194.67
    Conditions:
      Ready:    true
    Hostname:   web-1
    TargetRef:  Pod/web-1
    NodeName:   vms156.liruilongs.github.io
    Zone:       <unset>
  - Addresses:  10.244.217.11
    Conditions:
      Ready:    true
    Hostname:   web-2
    TargetRef:  Pod/web-2
    NodeName:   vms155.liruilongs.github.ioweb  
    Zone:       <unset>
Events:         <none>

通过 curl 调用对应的 REST 接口

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$curl -s  http://localhost:30021/apis/discovery.k8s.io/v1/namespaces/awx/endpointslices/web-headless-888xr  | jq .endpoints
[
  {
    "addresses": [
      "10.244.217.10"
    ],
    "conditions": {
      "ready": true,
      "serving": true,
      "terminating": false
    },
    "hostname": "web-0",
    "targetRef": {
      "kind": "Pod",
      "namespace": "awx",
      "name": "web-0",
      "uid": "7fa21492-d0f5-4840-8517-a05ed04651a4",
      "resourceVersion": "14843008"
    },
    "nodeName": "vms155.liruilongs.github.io"
  },
  {
    "addresses": [
      "10.244.194.67"
    ],
    "conditions": {
      "ready": true,
      "serving": true,
      "terminating": false
    },
    "hostname": "web-1",
    "targetRef": {
      "kind": "Pod",
      "namespace": "awx",
      "name": "web-1",
      "uid": "d71722db-1c41-44ee-a55d-0042c7d2086e",
      "resourceVersion": "14843070"
    },
    "nodeName": "vms156.liruilongs.github.io"
  },
  {
    "addresses": [
      "10.244.217.11"
    ],
    "conditions": {
      "ready": true,
      "serving": true,
      "terminating": false
    },
    "hostname": "web-2",
    "targetRef": {
      "kind": "Pod",
      "namespace": "awx",
      "name": "web-2",
      "uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27",
      "resourceVersion": "14843135"
    },
    "nodeName": "vms155.liruilongs.github.io"
  }
]

集群内获取 Headless Service 的 Pod 列表

对于无头服务，客户端可以通过连接到服务的 DNS 名称来连接到其 pod，就像使用常规服务一样，因为 DNS 返回 pod 的 IP，客户端直接连接到 pod，所以不是通过服务代理。这里通过 DNS 解析获取的 Pod 列表，Headless 服务仍然提供跨 Pod 的负载平衡，但这仅仅是通过 DNS 循环机制实现的负载均衡。而不是 sessionAffinity 相关配置

可以通过 对 服务的 DNS 解析来获取 POD 列表。

创建一个测试 Pod

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl run tmp01 --image=tutum/dnsutils -- sleep infinity
pod/tmp01 created

同一命令空间获取 headless Service 的 Pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec  tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.10
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.11

不同命名空间获取 headless Service 的 Pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec  tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless.awx
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.10

root@tmp01:/# nslookup web-headless.awx.svc.cluster.local.
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.10

无状态的 Headless 服务

关于无状态的 Headless Service 这里我们也简单介绍，和，有状态的没什么区别，对应的  SVC 还是用之前的 web-headless, 在 StatefulSet 的基础上，我们创建一个 deloyment 提供服务能力

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$cat deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: web-headless
  name: web
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web-headless
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: web-headless
    spec:
      containers:
      - image: nginx
        name: nginx-web
        ports:
        - containerPort: 80
          name: nginx-web
        resources: {}
status: {}

通过 DNS 获取IP，可以发现，对应的 A 记录增加到 6个

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec  tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless.awx
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.10
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.69
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.70
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.12

root@tmp01:/# exit
exit

关于  Headless Service 和小伙伴分享到这里， 通过 无头服务，我们可以通过 Servcie 来动态感知 Pod 副本的变化，监听 Pod 的状态，实现部分分布式集群的动态构建， 同时在有状态应用中都会涉及 Headless Service。

博文参考

https://kubernetes.io/zh-cn/docs/concepts/services-networking/service/#headless-services

https://stackoverflow.com/questions/52707840/what-is-a-headless-service-what-does-it-do-accomplish-and-what-are-some-legiti

https://cloud.tencent.com/developer/article/1638722

https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoints-v1/

https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoint-slice-v1/