整体架构设计

在 Linux 服务器上,使用
Kubernetes(K8s)管理业务微服务、数据库、缓存和消息中间件,建议采用:

Kubernetes 统一编排 + 微服务分层部署 + StatefulSet 管理有状态服务 +
持久化存储 + Ingress 统一流量入口。

核心原则:业务微服务和基础设施中间件可以统一由 K8s
管理,但部署方式、存储方式和扩缩容策略不能完全一样。


组件 推荐部署方式 重点


Spring Boot 微服务 Deployment 多副本、滚动升级、健康检查

MySQL StatefulSet 或 持久化、备份、主从复制、故障切换
Operator;也可部署在集群外

Redis StatefulSet 或 Operator 按单机、主从、Sentinel、Cluster
选择

Kafka StatefulSet / Operator Broker 身份、独立磁盘、数据可靠性

RocketMQ StatefulSet / Operator Broker 持久化、复制和主从切换

Nacos Deployment 或 StatefulSet 按部署模式及持久化需求选择

Elasticsearch StatefulSet / Operator 节点角色、磁盘、JVM、分片和快照

示例业务系统

业务微服务:

  • auth-service:认证中心
  • user-service:用户服务
  • order-service:订单服务
  • product-service:商品服务
  • payment-service:支付服务

基础设施:

  • MySQL
  • Redis
  • Kafka
  • RocketMQ
  • Elasticsearch
  • Nacos

整体请求和数据流

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
                 用户 / 浏览器
|
DNS / HTTPS
|
LoadBalancer / NodePort
|
Ingress Controller
(Nginx)
|
+--------------+--------------+
| | |
v v v
auth-service user-service order-service
| | |
+--------------+--------------+
|
Kubernetes Service
|
+---------------+----------------+
| | |
v v v
MySQL Redis Kafka
StatefulSet StatefulSet StatefulSet
| | |
v v v
PVC PVC PVC
| | |
+---------------+----------------+
|
StorageClass
|
持久化存储

其他基础设施:Nacos / RocketMQ / Elasticsearch

运维监控:Prometheus / Grafana / Loki

架构分层

层级 组件 主要职责


接入层 Nginx Ingress / Gateway 外部流量入口、路由
应用层 Spring Boot 业务微服务
服务治理层 Nacos(按需) 服务注册发现、配置管理
数据层 MySQL、Redis、MongoDB 数据存储和缓存
消息层 Kafka、RocketMQ 异步通信、事件驱动
搜索层 Elasticsearch 检索和分析
运维层 Prometheus、Grafana、Loki 监控、告警和日志


Linux 服务器如何部署 Kubernetes

Kubernetes 不是一个 Docker
容器,而是一套容器编排系统。生产环境需要规划控制面、工作节点、网络、存储和高可用。

Linux 集群节点规划

示例:三个控制面节点和四个工作节点。


服务器 角色 部署内容


k8s-master-01 Control Plane API
Server、Scheduler、Controller
Manager、etcd

k8s-master-02 Control Plane 高可用控制面

k8s-master-03 Control Plane 高可用控制面

k8s-worker-01 Worker Spring Boot 微服务

k8s-worker-02 Worker Spring Boot 微服务

k8s-worker-03 Worker 数据库、消息中间件

k8s-worker-04 Worker 数据库、消息中间件

这是逻辑规划。实际部署可以通过节点标签、污点(Taint)和容忍度(Toleration)控制
Pod 的调度位置。也可以根据资源规模混合部署应用和中间件。

Kubernetes 核心组件


组件 作用


kube-apiserver 集群 API 入口,所有控制操作通过 API
Server 进行

etcd 保存 Kubernetes 集群状态数据

kube-scheduler 为待调度 Pod 选择节点

kube-controller-manager 运行控制器,持续协调实际状态与期望状态

kubelet 管理节点上的 Pod 和容器

kube-proxy 在常见网络方案中实现 Service
网络转发;部分 CNI 可替代其数据面功能

containerd 容器运行时

CoreDNS 集群内部 DNS 服务发现

生产环境要考虑控制面高可用、etcd 备份、节点资源规划和集群升级策略。

Namespace 命名空间规划

不要把所有业务和中间件都放在 default 命名空间。可以按环境和职责划分:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
Kubernetes Cluster
|
+-- kube-system
| +-- CoreDNS
| +-- kube-proxy(如使用)
| +-- CNI
|
+-- ingress-nginx
| +-- Nginx Ingress Controller
|
+-- dev
| +-- user-service
| +-- order-service
| +-- product-service
|
+-- test
| +-- user-service
| +-- order-service
| +-- product-service
|
+-- prod
| +-- auth-service
| +-- user-service
| +-- order-service
| +-- product-service
| +-- payment-service
|
+-- middleware
| +-- nacos
| +-- redis
| +-- kafka
| +-- rocketmq
| +-- elasticsearch
|
+-- database
| +-- mysql
| +-- mongodb
|
+-- monitoring
+-- prometheus
+-- grafana
+-- loki

Namespace 的价值:

  1. 逻辑隔离 dev、test、prod 环境。
  2. 分开管理业务服务和数据库权限。
  3. 可以按 Namespace 设置 ResourceQuota 和 LimitRange。
  4. 可以通过 NetworkPolicy 限制网络访问(前提是网络插件支持)。
  5. 可以分别管理应用和中间件的发布周期。

注意:Namespace
是逻辑隔离,不等于物理隔离,也不会自动形成完整的安全边界。


Spring Boot 微服务部署

对于 Spring Boot 项目,常用资源组合是:

Deployment + Service + ConfigMap + Secret + HPA

微服务部署结构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
user-service
|
+-- Deployment
| +-- Pod-1
| | +-- Spring Boot
| +-- Pod-2
| | +-- Spring Boot
| +-- Pod-3
| +-- Spring Boot
|
+-- Service
| +-- user-service:8080
|
+-- ConfigMap
| +-- 非敏感 application 配置
|
+-- Secret
| +-- 数据库密码等敏感信息
|
+-- HPA
+-- 根据指标自动调整副本数

Deployment 示例

下面是一个简化的 user-service
Deployment。镜像地址、探针路径和资源值应根据实际项目调整。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
apiVersion: apps/v1
kind: Deployment
metadata:
name: user-service
namespace: prod
spec:
replicas: 3
selector:
matchLabels:
app: user-service
template:
metadata:
labels:
app: user-service
spec:
containers:
- name: user-service
image: registry.example.com/user-service:1.0.0
ports:
- containerPort: 8080

resources:
requests:
cpu: "500m"
memory: "512Mi"
limits:
cpu: "2"
memory: "1Gi"

readinessProbe:
httpGet:
path: /actuator/health/readiness
port: 8080
initialDelaySeconds: 20
periodSeconds: 10

livenessProbe:
httpGet:
path: /actuator/health/liveness
port: 8080
initialDelaySeconds: 40
periodSeconds: 15

Spring Boot 应用需要启用并正确配置 Actuator
健康检查端点,探针路径才会有效。readinessProbe
判断应用是否可以接收流量;livenessProbe 判断容器是否需要重启。

Service 示例

1
2
3
4
5
6
7
8
9
10
11
12
apiVersion: v1
kind: Service
metadata:
name: user-service
namespace: prod
spec:
type: ClusterIP
selector:
app: user-service
ports:
- port: 8080
targetPort: 8080

部署和查看:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 创建或更新资源
kubectl apply -f user-service.yaml

# 查看 Deployment
kubectl get deployment -n prod

# 查看 Pod
kubectl get pods -n prod

# 查看 Service
kubectl get svc -n prod

# 查看应用日志
kubectl logs -f deployment/user-service -n prod

# 手动扩容到 5 个副本
kubectl scale deployment user-service --replicas=5 -n prod

微服务之间如何调用

Kubernetes Service 为一组 Pod 提供稳定的访问地址。业务服务不需要知道对方
Pod 的动态 IP。

跨 Namespace 的完整 DNS 地址:

1
http://user-service.prod.svc.cluster.local:8080

同一个 Namespace 内通常可以直接使用:

1
http://user-service:8080

如果使用 Spring Cloud
OpenFeign,需要确保服务名解析方式与项目的服务发现配置一致。可以通过
Kubernetes DNS 访问 Service,也可以在适当的架构中继续使用 Nacos
服务发现。

Deployment 负责应用副本、滚动更新和自愈;Service
负责稳定的服务访问入口。


数据库和消息中间件部署

这是整个架构中需要重点设计的部分。

业务服务通常是无状态的,而数据库和消息中间件是有状态的:

  • Spring Boot Pod 删除后可以重新创建,业务数据不应因此丢失。
  • MySQL Pod 删除或重建后,数据库文件必须保留。
  • Kafka Broker 重启后,需要继续使用自己的数据目录和身份。
  • Redis 如果承担持久化任务,也需要考虑数据恢复。

常用 Kubernetes 资源:

  • StatefulSet
  • Headless Service
  • PersistentVolume(PV)
  • PersistentVolumeClaim(PVC)
  • StorageClass

MySQL

MySQL 可以使用 StatefulSet、Operator 或集群外的独立数据库服务。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
      MySQL Service
|
v
MySQL StatefulSet
|
+--------+--------+
| |
v v
mysql-0 mysql-1
| |
v v
PVC-0 PVC-1
| |
v v
PV-0 PV-1
| |
v v
数据盘 数据盘

上图仅表示实例与存储的关系,并不意味着 StatefulSet 自动实现了 MySQL
主从复制。

MySQL 高可用还需要额外设计:

  • 主从复制或其他复制方案。
  • 故障检测和主从切换。
  • 备份与恢复。
  • 数据一致性和恢复点目标。
  • 客户端连接入口管理。

生产环境可以考虑 MySQL Operator,或者直接使用云数据库、独立数据库集群。

建议:生产环境优先评估独立数据库集群,不要为了使用 K8s
而强行把核心数据库放进 K8s。
数据库可以运行在独立 Linux
服务器、云数据库或专门的数据库集群中,业务 Pod 通过网络访问。

Redis

根据业务场景选择部署模式:

模式 适用场景


Standalone 开发、测试或非关键缓存
Master-Replica 主从复制
Sentinel 监控与自动故障转移
Redis Cluster 分片和水平扩展

可以采用 StatefulSet 或成熟的 Redis Operator。是否需要 PVC、AOF/RDB
持久化,应根据 Redis 承担的是缓存还是重要数据存储来决定。

Kafka

三个 Broker 的示意:

1
2
3
4
5
6
7
8
9
10
Kafka Cluster
|
+-- kafka-0
| +-- PVC-0
|
+-- kafka-1
| +-- PVC-1
|
+-- kafka-2
+-- PVC-2

每个 Broker
都需要独立的数据存储,并规划副本因子、分区、副本放置、磁盘容量和故障恢复。

建议使用 Strimzi Operator 管理 Kafka,而不是手工维护大量 StatefulSet
配置。Operator 仍然需要正确配置存储、资源、升级和备份策略。

RocketMQ

RocketMQ 可以按 NameServer、Broker 等角色规划:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
RocketMQ Cluster
|
+-- NameServer
| +-- nameserver-0
| +-- nameserver-1
|
+-- Broker
| +-- broker-a-master
| +-- broker-a-replica
| +-- broker-b-master
| +-- broker-b-replica
|
+-- Storage
+-- PVC
+-- PVC
+-- PVC

Broker
需要重点考虑数据持久化、复制机制、主从切换、磁盘容量和消息保留策略。实际拓扑应结合所使用的
RocketMQ 版本及部署模式确定。

Elasticsearch

Elasticsearch 可以采用 StatefulSet 或相应 Operator
管理。生产部署需要规划:

  • Master 节点。
  • Data 节点及其他节点角色。
  • 磁盘容量和 I/O 性能。
  • JVM Heap。
  • 主分片和副本分片。
  • 快照备份与恢复。

不要简单地把所有 Elasticsearch 节点放在一个 Pod 中。


Nacos 与 Kubernetes 服务发现

一个常见问题是:Kubernetes 已经有服务发现机制,为什么还需要 Nacos?

Kubernetes 本身提供:

  • Service 服务发现。
  • CoreDNS 域名解析。
  • ConfigMap 配置管理。
  • Secret 敏感信息管理。

Nacos 提供:

  • 服务注册与发现。
  • 动态配置管理。
  • 服务健康状态管理。
  • Spring Cloud Alibaba 生态集成。

两者有一定功能重叠,可以根据项目技术栈选择:

方案 服务发现 配置管理


纯 Kubernetes Service + DNS ConfigMap + Secret
Spring Cloud Alibaba Nacos Nacos
混合架构 Kubernetes Service 或 Nacos Nacos + ConfigMap

如果项目使用 Spring Boot + Spring Cloud Alibaba +
OpenFeign,可以继续保留 Nacos。

如果是纯 Spring Boot 微服务,可以直接使用 Kubernetes Service +
CoreDNS,不一定需要 Nacos。

避免在没有明确需求的情况下,同时维护两套重复的服务注册发现体系。


网络架构:外部请求如何进入微服务

推荐采用:

Ingress Controller + Service + Pod

示例外部请求:

1
2
3
https://api.example.com/user/login
https://api.example.com/order/list
https://api.example.com/product/list

请求路径:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
浏览器
|
v
DNS
|
v
Linux 服务器公网 IP / 负载均衡器
|
v
Nginx Ingress Controller
|
+--------------------------+
| | |
v v v
/user /order /product
| | |
v v v
user-service order-service product-service
| | |
v v v
Pod Pod Pod

Ingress 规则示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: backend-ingress
namespace: prod
spec:
ingressClassName: nginx
rules:
- host: api.example.com
http:
paths:
- path: /user
pathType: Prefix
backend:
service:
name: user-service
port:
number: 8080

- path: /order
pathType: Prefix
backend:
service:
name: order-service
port:
number: 8080

注意:

  1. Ingress 资源本身不负责流量转发,需要安装对应的 Ingress Controller。
  2. 还需要配置 DNS、负载均衡器或节点端口,以及 TLS 证书。
  3. Ingress API 已进入维护状态,新项目也可以评估 Kubernetes Gateway
    API。

存储架构:数据如何持久化

Pod
可以被删除和重新创建,因此不能简单地把数据库文件只存储在容器可写层中。

存储关系:

1
2
3
4
5
6
7
8
9
10
11
12
13
MySQL Pod
|
v
PVC(持久卷声明)
|
v
PV(持久卷)
|
v
StorageClass
|
v
Linux 磁盘 / 云硬盘 / 分布式存储

常见存储方案:

存储方案 适用场景


Local Persistent Volume 本地磁盘,性能较好,但与节点绑定
NFS 共享文件存储
Ceph RBD 分布式块存储
Longhorn Kubernetes 分布式块存储
云厂商 CSI 云硬盘及云存储服务

注意事项:

  • Local PV 依赖节点,节点损坏可能影响数据访问。
  • NFS 不一定适合高 IOPS 数据库负载。
  • Ceph 和 Longhorn 需要额外运维。
  • PVC 不是数据库备份。
  • 必须有独立备份、恢复和异地容灾方案。
  • MySQL、Kafka 等组件应使用满足其性能和一致性要求的存储。

监控和日志架构

生产环境不能只关注 Pod 是否处于 Running
状态,还要监控业务、数据库、消息队列和 Linux 节点。

推荐技术栈:

组件 作用


Prometheus 指标采集和存储
Grafana 指标可视化
Alertmanager 告警管理
Loki 日志存储和查询
Promtail / Grafana Alloy 日志采集
Node Exporter Linux 主机监控
kube-state-metrics Kubernetes 资源对象状态指标

重点监控:

  • CPU、内存、磁盘和网络。
  • Pod 重启次数及异常状态。
  • JVM Heap、GC。
  • HTTP 请求量、错误率和响应时间。
  • MySQL 连接数、慢 SQL、复制延迟。
  • Redis 内存、命中率和复制状态。
  • Kafka Consumer Lag、Broker 状态和磁盘。
  • RocketMQ 消息堆积和 Broker 状态。
  • Elasticsearch 集群健康、分片和磁盘。

Java 项目可以结合 Spring Boot Actuator 和 Micrometer,将 JVM、HTTP
等指标暴露给 Prometheus。


推荐的项目目录结构

建议把业务源码和部署配置分开维护:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
backend-platform/
|
+-- services/ # Java 微服务源码
| +-- auth-service/
| +-- user-service/
| +-- order-service/
| +-- product-service/
| +-- payment-service/
|
+-- infrastructure/ # 基础设施部署
| +-- mysql/
| | +-- statefulset.yaml
| | +-- service.yaml
| | +-- pvc.yaml
| +-- redis/
| +-- kafka/
| +-- rocketmq/
| +-- elasticsearch/
| +-- nacos/
|
+-- kubernetes/
| +-- namespaces/
| | +-- dev.yaml
| | +-- test.yaml
| | +-- prod.yaml
| +-- ingress/
| +-- configmaps/
| +-- secrets/
| +-- monitoring/
| +-- applications/
| +-- auth-service/
| +-- user-service/
| +-- order-service/
| +-- product-service/
|
+-- helm/ # Helm Charts
|
+-- scripts/
| +-- build.sh
| +-- deploy.sh
| +-- rollback.sh
|
+-- README.md

建议进一步使用 Helm 管理应用部署配置,通过不同的 values 文件管理环境:

1
2
3
4
5
6
7
8
9
10
11
12
helm/
+-- user-service/
+-- Chart.yaml
+-- templates/
| +-- deployment.yaml
| +-- service.yaml
| +-- ingress.yaml
| +-- hpa.yaml
+-- values/
+-- dev.yaml
+-- test.yaml
+-- prod.yaml

这样可以减少不同环境之间重复维护 YAML
的工作量。敏感信息不要直接提交到普通 Git 仓库中的明文 values 文件。


CI/CD 自动化部署

实际企业项目中,Kubernetes 通常会配合 CI/CD。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
开发人员提交代码
|
v
Git
|
v
GitLab / GitHub
|
v
Jenkins / GitLab CI
|
v
Maven 编译打包
|
v
Docker Build
|
v
镜像仓库(如 Harbor)
|
v
Helm Deploy / Argo CD
|
v
Kubernetes Cluster
|
v
Deployment
|
v
Pod
|
v
Kubernetes Service

可以选择:

  • GitLab CI:代码构建和流水线。
  • Jenkins:自动化构建和部署。
  • Harbor:私有容器镜像仓库。
  • Helm:应用发布和配置模板化。
  • Argo CD:GitOps 持续交付。

生产环境建议使用不可变镜像版本,例如 Git Commit SHA
或明确的发布版本号,不要长期使用 latest。


最终推荐的技术选型

架构层 推荐技术


Linux Ubuntu Server / Rocky Linux
Kubernetes 安装发行方案 kubeadm / RKE2
容器运行时 containerd
CNI 网络 Calico / Cilium
入口网关 Ingress Controller / Gateway API
微服务 Spring Boot
服务治理 Nacos(按需)
应用部署 Deployment
有状态服务 StatefulSet / Operator
配置管理 ConfigMap / Secret
存储 CSI / StorageClass
数据库 MySQL / MongoDB
缓存 Redis
消息队列 Kafka / RocketMQ
搜索 Elasticsearch
监控 Prometheus + Grafana
日志 Loki
镜像仓库 Harbor
部署工具 Helm
持续交付 Jenkins / Argo CD


结合 Mac + Colima 环境的落地路线

目前本地 Docker Compose 项目目录为:

1
~/docker/backend/

已经管理的组件包括:

  • Elasticsearch
  • Kafka
  • MySQL
  • Nacos
  • Redis
  • RocketMQ
  • MongoDB

建议不要直接推翻现有 Compose 环境,而是分阶段迁移到 Kubernetes。

本地学习 Kubernetes

1
2
3
4
5
6
7
8
9
Mac
|
+-- Colima
|
+-- Kubernetes
+-- Deployment
+-- Service
+-- Ingress
+-- PVC

先掌握:

  • Pod
  • Deployment
  • Service
  • ConfigMap
  • Secret
  • Ingress
  • PV / PVC

迁移基础设施

1
2
3
4
5
6
7
8
9
10
11
12
Kubernetes
|
+-- Namespace: middleware
| +-- Redis
| +-- Nacos
| +-- Kafka
| +-- RocketMQ
| +-- Elasticsearch
|
+-- Namespace: database
+-- MySQL
+-- MongoDB

先迁移 Redis、Nacos
等相对简单的组件,再研究数据库和消息中间件的持久化、高可用和备份恢复。

部署 Spring Boot 微服务

1
2
3
4
5
6
7
Namespace: prod
|
+-- auth-service
+-- user-service
+-- order-service
+-- product-service
+-- payment-service

使用 Deployment、Service、HPA 和 Ingress。

企业级部署

1
2
3
4
5
6
7
8
Linux Kubernetes Cluster
|
+-- Control Plane × 3
+-- Worker Nodes
+-- Storage
+-- Monitoring
+-- CI/CD
+-- GitOps

逐步引入高可用、监控告警、自动发布、备份恢复和安全策略。

提醒: Colima 适合本地学习和验证,不应当视为生产高可用集群。同时运行
Elasticsearch、Kafka、RocketMQ、MySQL 等服务会占用较多 Mac
内存,建议先迁移少量服务,不要一次全部启动。


Kubernetes 核心知识学习顺序

顺序 知识点 需要解决的问题


1 Pod 容器如何运行
2 Deployment 微服务如何部署、扩容
3 Service 微服务如何互相访问
4 Namespace 环境如何隔离
5 ConfigMap / Secret 配置和密码如何管理
6 Ingress 外部请求如何进入集群
7 StatefulSet 数据库等有状态服务如何部署
8 PV / PVC 数据如何持久化
9 HPA 微服务如何自动扩缩容
10 Helm 如何管理复杂部署
11 Operator 如何自动化管理中间件
12 Prometheus 如何监控整个集群
13 CI/CD 如何实现自动构建和部署

总结与架构建议

不要把 Kubernetes 仅仅理解成 Docker Compose 的替代品。

Docker Compose 主要解决容器编排和启动问题;Kubernetes 还要解决:

  • 集群调度。
  • 服务发现。
  • 故障恢复。
  • 自动扩缩容。
  • 存储编排。
  • 应用发布和回滚。
  • 集群监控与安全治理。

对于当前的本地环境,推荐从 ~/docker/backend/ 出发,搭建 Colima +
Kubernetes 实操环境,先部署 Nginx、Spring Boot、MySQL、Redis,再逐步加入
Kafka、RocketMQ 和 Elasticsearch。

这样可以把 Docker、Spring Boot、微服务和 Kubernetes
串成一套完整的技术体系。

官方文档