马克社区,马克吐温社区,马克java社区Kubernetes: 通过无头服务(Headless Service)实现客户端负载均衡运维

Kubernetes: 通过无头服务(Headless Service)实现客户端负载均衡

写在前面
分享一些 K8s 中 Headless Service 的笔记
博文内容涉及：
Headless Service 的简单介绍
Headless Service 创建
集群内/外获取 Headless Service对应 Pod 列表的 Demo
理解不足小伙伴帮忙指正
在认识一经出现时，情欲就引退。 -----昂克敌·杜伯隆：《邬布涅伽研究》第二卷第216页 -----《作为意志和表象的世界》

Headless Service 简单介绍
在某些场景中，如果我们希望自己控制 Pod 实例的负载均衡策略,或者希望直接和 Pod 交互但是又不希望通过端口映射的方式，比如数据库根据情况做一些读写分离，或者一些应用在客户端做流量控制等，不使用 Service 提供的由 Kube-proxy 代理实现的默认负载均衡的功能。希望明确是由那几个 pod 提供能力，即直接通过 Pod 发布服务，而不是只有一个集群 IP Cluster IP 或者使用 NodePort、LoadBalancer、ExternalName 来发布服务。

这个时候，K8s 提供了 Headless Service ,即不为 Service 设置 ClusterIP(入口IP地址),也叫无头服务，这里分两种情况

有选择器
第一种是有对应的服务能力提供者，即通过标签选择器选择了对应的后端能力，比如 pod,deployment,statefulset 等

在这种情况下，会通过Label Selector将被选择的后端 Pod 列表返回给调用的客户端, K8s 不会为这样的 Service 分配任何 IP， DNS 会为这些Service 的 Name 添加一系列的 A(AAA)记录(IP 地址指向)，直接指向后端映射的 Pod。当然前提是通过标签选择器选择到了对应的 pod。

Kube-prosy 不会处理这类型的 Service ，没有负载均衡机制也没有请求映射，这里 Endpoint Controller 任然会创建 pod 对应的 Endpoint , 同时 Kubernetes 控制平面会在 Kubernetes API 中创建 EndpointSlice 对象

EndpointSlices 表示针对服务的后端网络端点的子集(切片),这是在 1.21 版本才出现的，提供了一种简单的方法来跟踪 Kubernetes 集群中的网络端点(network endpoints)。EndpointSlices 为 Endpoints 提供了一种可扩缩和可拓展的替代方案。

在 Kubernetes 中，EndpointSlice 包含对一组网络端点的引用。控制面会自动为设置了选择算符的 Kubernetes Service 创建 EndpointSlice,EndpointSlice 将包含对与 Service 选择算符匹配的所有 Pod 的引用。 EndpointSlice 通过唯一的协议、端口号和 Service 名称将网络端点组织在一起

Headless Service 通过暴露的 Endpoints 列表应用可以通过编码实现客户端的负载均衡。

没有选择器
第二种是没有对应的服务能力提供者，即没有通过选择运算符来获取当前集群的能力，这个时候，系统不会创建对应 Endpoint ，也不会创建对应的 EndpointSlice.

这种情况下，DNS 系统会查找和配置以下之一

对于 type: ExternalName 服务，查找和配置其 CNAME 记录
对所有其他类型的服务，针对 Service 的就绪端点的所有 IP 地址，查找和配置 DNS A / AAAA 条记录
对于 IPv4 端点，DNS 系统创建 A 条记录。
对于 IPv6 端点，DNS 系统创建 AAAA 条记录。
Headless Service 创建
定义一个 Service 里面的 ClusterIP 为 None ，并且拥有 Selector 标签选择器，这样的 Service 为 Headlsee Service

查看当前 k8s 中是否存在 Headlsee

┌──[root@vms81.liruilongs.github.io]-[~]
└─$kubectl get svc -A | grep None
awx                    awx-demo-postgres-13                              ClusterIP   None             <none>        5432/TCP                       52d
kube-system            liruilong-kube-prometheus-kubelet                 ClusterIP   None             <none>        10250/TCP,10255/TCP,4194/TCP   324d
一般情况下 SatefulSet 需要 Headless Service 来实现 Pod 的网络的一致性(必须创建此服务)，为客户端返回多个服务端地址。可以看到当前的集群中有两个 Headless Service, 一个是有状态应用(SatefulSet) postgres 数据库创建，一个是搭建 prometheus 集群监控创建的。

┌──[root@vms81.liruilongs.github.io]-[~]
└─$kubectl get svc awx-demo-postgres-13 -o yaml
apiVersion: v1
kind: Service
metadata:
..................
name: awx-demo-postgres-13
namespace: awx
spec:
clusterIP: None
clusterIPs:
- None
internalTrafficPolicy: Cluster
ipFamilies:
- IPv4
ipFamilyPolicy: SingleStack
ports:
- port: 5432
    protocol: TCP
    targetPort: 5432
selector:
    app.kubernetes.io/component: database
    app.kubernetes.io/instance: postgres-13-awx-demo
    app.kubernetes.io/managed-by: awx-operator
    app.kubernetes.io/name: postgres-13
    app.kubernetes.io/part-of: awx-demo
sessionAffinity: None
type: ClusterIP
status:
loadBalancer: {}
这里我们可以大概的看到一个 Headless 资源文件定义，对这样的 Service 进行访问，得到的就是一个符合选择器的全部的 Pod 列表，然后客户端去自行的处理这些 Pod 列表。上面的 Service 中，客户端访问 postgres 数据库，会返回符合当前选择器的所有 postgres pod。

下面我们来看几个实际的 Demo

有状态 Headless 服务
对于有状态服务开来讲，需要创建 StatefulSet 为其提供能力，资源文件定义,只是一个 Demo ，所以我们这里没有定义存储卷相关。

apiVersion: apps/v1
kind: StatefulSet
metadata:
creationTimestamp: null
labels:
    app: web-headless
name: web
spec:
serviceName: web-headless
replicas: 3
selector:
    matchLabels:
      app: web-headless
template:
    metadata:
      creationTimestamp: null
      labels:
        app: web-headless
    spec:
      containers:
        - image: nginx
          name: nginx-web
          ports:
            - containerPort: 80
              name: nginx-web
          resources: {}
通过资源文件创建有状态的 pod

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get statefulsets.apps web -o wide
NAME   READY   AGE   CONTAINERS   IMAGES
web    3/3     96s   nginx-web    nginx
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get pods -o wide | grep web*
web-0                                              1/1     Running   0              2m13s   10.244.217.10    vms155.liruilongs.github.io   <none>           <none>
web-1                                              1/1     Running   0              2m11s   10.244.194.67    vms156.liruilongs.github.io   <none>           <none>
web-2                                              1/1     Running   0              114s    10.244.217.11    vms155.liruilongs.github.io   <none>           <none>
之后我们需要创建对应的 Headless Service ,这里需要注意的是 clusterIP: None,选择器：app: web-headless

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$cat headless.yaml
apiVersion: v1
kind: Service
metadata:
name: web-headless
labels:
    app: nginx_headless
spec:
ports:
- port: 30088
    targetPort: 80
    name: nginx-web-headless
clusterIP: None
selector:
    app: web-headless
创建对应的 Headless SVC

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl apply -f headless.yaml
service/web-headless configured
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get svc web-headless
NAME           TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)     AGE
web-headless   ClusterIP   None         <none>        30088/TCP   24h
可以看到，他对每个 pod 都创建了对应的 Endpoint

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe svc web-headless
Name:              web-headless
Namespace:         awx
Labels:            app=nginx_headless
Annotations:       <none>
Selector:          app=web-headless
Type:              ClusterIP
IP Family Policy: SingleStack
IP Families:       IPv4
IP:                None
IPs:               None
Port:              nginx-web-headless 30088/TCP
TargetPort:        80/TCP
Endpoints:         10.244.194.67:80,10.244.217.10:80,10.244.217.11:80
Session Affinity: None
Events:            <none>
可以通过不同的方式获取 Headless Service 的 Pod 列表。

集群外获取 Headless Service 的 Pod 列表
可以直接通过调用 Rest 接口的方式获取 Headless 对应的 Endpoints，这里为了方便暴露 Rest 服务，通过 kubectl proxy 做一个内部代理。

┌──[root@vms81.liruilongs.github.io]-[~]
└─$nohup kubectl proxy --port=30021 &
[1] 109103
┌──[root@vms81.liruilongs.github.io]-[~]
└─$nohup: 忽略输入并把输出追加到"nohup.out"
测试一下

┌──[root@vms81.liruilongs.github.io]-[~]
└─$curl http://localhost:30021/api/ -s
{
"kind": "APIVersions",
"versions": [
    "v1"
],
"serverAddressByClientCIDRs": [
    {
      "clientCIDR": "0.0.0.0/0",
      "serverAddress": "192.168.26.81:6443"
    }
]
}
对于 1.21 之前的版本获取 endpoins，可以通过 Endpoints的方式获取

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe endpoints web-headless
Name:         web-headless
Namespace:    awx
Labels:       app=nginx_headless
              service.kubernetes.io/headless=
Annotations: endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15Z
Subsets:
Addresses:          10.244.194.67,10.244.217.10,10.244.217.11
NotReadyAddresses: <none>
Ports:
    Name                Port Protocol
    ----                ---- --------
    nginx-web-headless 80    TCP

Events: <none>
通过 curl 调用对应的 REST 接口

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$curl -s http://localhost:30021/api/v1/namespaces/awx/endpoints/web-headless | jq .subsets
[
{
    "addresses": [
      {
        "ip": "10.244.194.67",
        "hostname": "web-1",
        "nodeName": "vms156.liruilongs.github.io",
        "targetRef": {
          "kind": "Pod",
          "namespace": "awx",
          "name": "web-1",
          "uid": "d71722db-1c41-44ee-a55d-0042c7d2086e",
          "resourceVersion": "14843070"
        }
      },
      {
        "ip": "10.244.217.10",
        "hostname": "web-0",
        "nodeName": "vms155.liruilongs.github.io",
        "targetRef": {
          "kind": "Pod",
          "namespace": "awx",
          "name": "web-0",
          "uid": "7fa21492-d0f5-4840-8517-a05ed04651a4",
          "resourceVersion": "14843008"
        }
      },
      {
        "ip": "10.244.217.11",
        "hostname": "web-2",
        "nodeName": "vms155.liruilongs.github.io",
        "targetRef": {
          "kind": "Pod",
          "namespace": "awx",
          "name": "web-2",
          "uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27",
          "resourceVersion": "14843135"
        }
      }
    ],
    "ports": [
      {
        "name": "nginx-web-headless",
        "port": 80,
        "protocol": "TCP"
      }
    ]
}
]
如果使用的 1.21 以及之后的版本，我们可以通过 EndpointSlicp 来获取对应的 pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe endpointslices web-headless-888xr
Name:         web-headless-888xr
Namespace:    awx
Labels:       app=nginx_headless
              endpointslice.kubernetes.io/managed-by=endpointslice-controller.k8s.io
              kubernetes.io/service-name=web-headless
              service.kubernetes.io/headless=
Annotations: endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15Z
AddressType: IPv4
Ports:
Name                Port Protocol
----                ---- --------
nginx-web-headless 80    TCP
Endpoints:
- Addresses: 10.244.217.10
    Conditions:
      Ready:    true
    Hostname:   web-0
    TargetRef: Pod/web-0
    NodeName:   vms155.liruilongs.github.io
    Zone:       <unset>
- Addresses: 10.244.194.67
    Conditions:
      Ready:    true
    Hostname:   web-1
    TargetRef: Pod/web-1
    NodeName:   vms156.liruilongs.github.io
    Zone:       <unset>
- Addresses: 10.244.217.11
    Conditions:
      Ready:    true
    Hostname:   web-2
    TargetRef: Pod/web-2
    NodeName:   vms155.liruilongs.github.ioweb
    Zone:       <unset>
Events:         <none>
通过 curl 调用对应的 REST 接口

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$curl -s http://localhost:30021/apis/discovery.k8s.io/v1/namespaces/awx/endpointslices/web-headless-888xr | jq .endpoints
[
{
    "addresses": [
      "10.244.217.10"
    ],
    "conditions": {
      "ready": true,
      "serving": true,
      "terminating": false
    },
    "hostname": "web-0",
    "targetRef": {
      "kind": "Pod",
      "namespace": "awx",
      "name": "web-0",
      "uid": "7fa21492-d0f5-4840-8517-a05ed04651a4",
      "resourceVersion": "14843008"
    },
    "nodeName": "vms155.liruilongs.github.io"
},
{
    "addresses": [
      "10.244.194.67"
    ],
    "conditions": {
      "ready": true,
      "serving": true,
      "terminating": false
    },
    "hostname": "web-1",
    "targetRef": {
      "kind": "Pod",
      "namespace": "awx",
      "name": "web-1",
      "uid": "d71722db-1c41-44ee-a55d-0042c7d2086e",
      "resourceVersion": "14843070"
    },
    "nodeName": "vms156.liruilongs.github.io"
},
{
    "addresses": [
      "10.244.217.11"
    ],
    "conditions": {
      "ready": true,
      "serving": true,
      "terminating": false
    },
    "hostname": "web-2",
    "targetRef": {
      "kind": "Pod",
      "namespace": "awx",
      "name": "web-2",
      "uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27",
      "resourceVersion": "14843135"
    },
    "nodeName": "vms155.liruilongs.github.io"
}
]
集群内获取 Headless Service 的 Pod 列表
对于无头服务，客户端可以通过连接到服务的 DNS 名称来连接到其 pod，就像使用常规服务一样，因为 DNS 返回 pod 的 IP，客户端直接连接到 pod，所以不是通过服务代理。这里通过 DNS 解析获取的 Pod 列表，Headless 服务仍然提供跨 Pod 的负载平衡，但这仅仅是通过 DNS 循环机制实现的负载均衡。而不是 sessionAffinity 相关配置

可以通过对服务的 DNS 解析来获取 POD 列表。

创建一个测试 Pod

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl run tmp01 --image=tutum/dnsutils -- sleep infinity
pod/tmp01 created
同一命令空间获取 headless Service 的 Pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.10
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.11
不同命名空间获取 headless Service 的 Pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless.awx
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.10

root@tmp01:/# nslookup web-headless.awx.svc.cluster.local.
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.10
无状态的 Headless 服务
关于无状态的 Headless Service 这里我们也简单介绍，和，有状态的没什么区别，对应的 SVC 还是用之前的 web-headless, 在 StatefulSet 的基础上，我们创建一个 deloyment 提供服务能力

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$cat deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
creationTimestamp: null
labels:
    app: web-headless
name: web
spec:
replicas: 3
selector:
    matchLabels:
      app: web-headless
strategy: {}
template:
    metadata:
      creationTimestamp: null
      labels:
        app: web-headless
    spec:
      containers:
      - image: nginx
        name: nginx-web
        ports:
        - containerPort: 80
          name: nginx-web
        resources: {}
status: {}
通过 DNS 获取IP，可以发现，对应的 A 记录增加到 6个

┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless.awx
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.10
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.69
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.194.70
Name:   web-headless.awx.svc.cluster.local
Address: 10.244.217.12

root@tmp01:/# exit
exit
关于 Headless Service 和小伙伴分享到这里，通过无头服务，我们可以通过 Servcie 来动态感知 Pod 副本的变化，监听 Pod 的状态，实现部分分布式集群的动态构建，同时在有状态应用中都会涉及 Headless Service。

博文参考
https://kubernetes.io/zh-cn/docs/concepts/services-networking/service/#headless-services

https://stackoverflow.com/questions/52707840/what-is-a-headless-service-what-does-it-do-accomplish-and-what-are-some-legiti

https://cloud.tencent.com/developer/article/1638722

https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoints-v1/

https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoint-slice-v1/

作者：山河已无恙

欢迎关注微信公众号：山河已无恙