需求：master写，slave读。NFS映射mysql文件到本地，删除或重启pod或容器不会删除文件。
如果是单 Master，需要取消掉 master 上的 taint
kubectl get node kubectl describe node master01 kubectl taint node --all node-role.kubernetes.io/master-
vim nfs-client-provisioner-mysql.yaml
kind: Deployment apiVersion: apps/v1 metadata: name: nfs-client-provisioner-mysql namespace: default #命名空间 spec: replicas: 1 selector: matchLabels: app: nfs-client-provisioner strategy: type: Recreate template: metadata: labels: app: nfs-client-provisioner spec: serviceAccountName: nfs-client-provisioner #指定Service Account账户 containers: - name: nfs-client-provisioner image: quay.io/external_storage/nfs-client-provisioner:latest imagePullPolicy: IfNotPresent volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: TZ value: Asia/Shanghai #容器时区 - name: PROVISIONER_NAME value: nfs-storage-mysql #配置provisioner的Name，确保该名称与StorageClass资源中的provisioner名称保持一致 - name: NFS_SERVER value: 192.168.102.130 #配置绑定的nfs服务器 - name: NFS_PATH value: /data/mysql #配置绑定的nfs服务器目录，挂载路径 volumes: #申明nfs数据卷 - name: nfs-client-root nfs: server: 192.168.102.130 #配置绑定的nfs服务器 path: /data/mysql
kubectl apply -f nfs-client-provisioner-mysql.yaml kubectl get pods -n default
负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联
vim nfs-client-storageclass-mysql.yaml
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: nfs-client-storageclass-mysql provisioner: nfs-storage-mysql #这里的名称要和provisioner配置文件中的环境变量PROVISIONER_NAME保持一致 parameters: archiveOnDelete: "true"
kubectl apply -f nfs-client-storageclass-mysql.yaml kubectl get storageclasses
mkdir -p /data/mysql-cluster/mysql1 cd /data/mysql-cluster/mysql1 vim mysql_configmap.yaml
apiVersion: v1 kind: ConfigMap metadata: name: mysql namespace: default #namespace labels: app: mysql data: master.cnf: | [mysqld] #binlog expire_logs_days=7 log-bin=mysql-bin binlog-format=ROW log_bin_trust_function_creators=1 #关闭MySQL对创建存储函数实施的限制 lower_case_table_names=1 #设置大小写不敏感 default-time-zone=+08:00 #设置时区 max_allowed_packet=400M max_connections=1000 sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION' innodb_buffer_pool_size=1G innodb_log_file_size=256M innodb_flush_log_at_trx_commit=1 innodb_flush_method=O_DIRECT innodb_autoinc_lock_mode=2 innodb_flush_log_at_trx_commit=0 #指定默认引擎 disabled_storage_engines=MyISAM,BLACKHOLE,FEDERATED,CSV,ARCHIVE default_storage_engine=innodb symbolic-links=0 init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_unicode_ci skip-character-set-client-handshake skip-name-resolve #解决找不到master.0.master问题 slave.cnf: | [mysqld] super-read-only #只读模式 log_bin_trust_function_creators=1 #关闭MySQL对创建存储函数实施的限制 lower_case_table_names=1 #设置大小写不敏感 default-time-zone=+08:00 #设置时区 max_allowed_packet=400M max_connections=1000 sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION' innodb_buffer_pool_size=1G innodb_log_file_size=256M innodb_flush_log_at_trx_commit=1 innodb_flush_method=O_DIRECT innodb_autoinc_lock_mode=2 innodb_flush_log_at_trx_commit=0 #指定默认引擎 disabled_storage_engines=MyISAM,BLACKHOLE,FEDERATED,CSV,ARCHIVE default_storage_engine=innodb symbolic-links=0 init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_unicode_ci skip-character-set-client-handshake skip-name-resolve
在这里，我们定义了 master.cnf 和 slave.cnf 两个 MySQL 的配置文件
master.cnf 开启了log-bin，可以使用二进制日志文件的方式进行主从复制.
slave.cnf 开启了 super-read-only ，表示从节点只接受主节点的数据同步的所有写的操作，拒绝其他的写入操作，对于用户来说就是只读的
master.cnf 和 slave.cnf 以配置文件的形式挂载到容器的目录中
kubectl apply -f mysql_configmap.yaml kubectl get configmap -n default
vim mysql-services.yaml
# 用于 StatefulSet 成员的稳定 DNS 条目的无头服务。 apiVersion: v1 kind: Service metadata: name: mysql-headless labels: app: mysql spec: ports: - name: mysql port: 3306 clusterIP: None selector: app: mysql --- # 读写 apiVersion: v1 kind: Service metadata: name: mysql-read-and-write labels: app: mysql spec: ports: - name: mysql port: 3306 targetPort: 3306 nodePort: 30060 type: NodePort selector: # 写操作需要指定master节点 statefulset.kubernetes.io/pod-name: mysql-0 --- # 只读 apiVersion: v1 kind: Service metadata: name: mysql-only-read labels: app: mysql spec: ports: - name: mysql port: 3306 targetPort: 3306 nodePort: 30061 type: NodePort selector: # 读操作需要指定slave节点 app: mysql --- apiVersion: v1 kind: Service metadata: name: mysql-master labels: app: mysql spec: ports: - name: mysql port: 3306 targetPort: 3306 nodePort: 30062 type: NodePort selector: statefulset.kubernetes.io/pod-name: mysql-0 --- apiVersion: v1 kind: Service metadata: name: mysql-slave-1 labels: app: mysql spec: ports: - name: mysql port: 3306 targetPort: 3306 nodePort: 30063 type: NodePort selector: statefulset.kubernetes.io/pod-name: mysql-1 --- apiVersion: v1 kind: Service metadata: name: mysql-slave-2 labels: app: mysql spec: ports: - name: mysql port: 3306 targetPort: 3306 nodePort: 30064 type: NodePort selector: statefulset.kubernetes.io/pod-name: mysql-2
说明：
clusterIP: None，使用无头服务 Headless Service（相比普通Service只是将spec.clusterIP定义为None，也就是没有clusterIP，直接使用endport 来通信）来维护Pod网络身份，会为每个Pod分配一个数字编号并且按照编号顺序部署。还需要在StatefulSet添加serviceName: “mysql”字段指定StatefulSet控制器。
kubectl apply -f mysql-services.yaml kubectl get svc -n default
对 k8s 的restful api进行访问：
https://192.168.102.130:6443/api/v1/namespaces/default/endpoints/mysql-headless
可以看到，访问无头服务，返回的出现了这些Pod的详细信息（需要给匿名用户授权）
kubectl create clusterrolebinding test:anonymous --clusterrole=cluster-admin --user=system:anonymous
另外statefulset控制器网络标识，体现在主机名和Pod A记录：
• 主机名：-<编号>
例如: mysql-0
• Pod DNS A记录：…svc.cluster.local （POD 之间通过DNS A 记录互相通信）
例如: mysql-0.mysql.default.svc.cluster.local名称-编号>名称>
vim mysql-statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: mysql
namespace: default
spec:
selector:
matchLabels:
app: mysql
serviceName: mysql-headless
replicas: 3
template:
metadata:
labels:
app: mysql
spec:
initContainers:
- name: init-mysql
image: mysql:5.7
command:
- bash
- "-c"
- |
yum install -y hostname
set -ex
# 从Pod的序号，生成server-id
[[ `hostname` =~ -([0-9]+)$ ]] || exit 1
ordinal=${BASH_REMATCH[1]}
echo [mysqld] > /mnt/conf.d/server-id.cnf
# 由于server-id不能为0，因此给ID加100来避开它
echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf
# 如果Pod的序号为0，说明它是Master节点，从ConfigMap里把Master的配置文件拷贝到/mnt/conf.d目录下
# 否则，拷贝ConfigMap里的Slave的配置文件
if [[ $ordinal -eq 0 ]]; then
# 如果序号是0，则初始化为master节点
cp /mnt/config-map/master.cnf /mnt/conf.d/
else
# 如果序号不是0，则初始化为slave节点
cp /mnt/config-map/slave.cnf /mnt/conf.d/
fi
volumeMounts:
- name: conf
mountPath: /mnt/conf.d
- name: config-map
mountPath: /mnt/config-map
- name: clone-mysql
image: fxkjnj/xtrabackup:1.0
command:
- bash
- "-c"
- |
set -ex
# 拷贝操作只需要在第一次启动时进行，所以数据已经存在则跳过
[[ -d /var/lib/mysql/mysql ]] && exit 0
# Master 节点（序号为 0）不需要这个操作
[[ `hostname` =~ -([0-9]+)$ ]] || exit 1
ordinal=${BASH_REMATCH[1]}
[[ $ordinal -eq 0 ]] && exit 0
# 使用ncat指令，远程地从前一个节点拷贝数据到本地
ncat --recv-only mysql-$(($ordinal-1)).mysql-headless 3307 | xbstream -x -C /var/lib/mysql
# 执行 --prepare，这样拷贝来的数据就可以用作恢复了
xtrabackup --prepare --target-dir=/var/lib/mysql
volumeMounts:
- name: data
mountPath: /var/lib/mysql
subPath: mysql
- name: conf
mountPath: /etc/mysql/conf.d
containers:
- name: mysql
image: mysql:5.7.39
env:
- name: MYSQL_ROOT_PASSWORD
value: "CWCcwy12"
- name: TZ
value: Asia/Shanghai
ports:
- name: mysql
containerPort: 3306
volumeMounts:
- name: data
mountPath: /var/lib/mysql
subPath: mysql
- name: conf
mountPath: /etc/mysql/conf.d
resources:
requests:
cpu: 500m
memory: 1Gi
livenessProbe:
exec:
command: ["mysqladmin","-uroot","-pCWCcwy12", "ping"]
initialDelaySeconds: 30
periodSeconds: 10
timeoutSeconds: 5
readinessProbe:
exec:
# 检查我们是否可以通过 TCP 执行查询（跳过网络已关闭）。
command: ["mysql", "-h", "127.0.0.1","-uroot","-pCWCcwy12", "-e", "SELECT 1"]
initialDelaySeconds: 5
periodSeconds: 2
timeoutSeconds: 1
- name: xtrabackup
image: fxkjnj/xtrabackup:1.0
ports:
- name: xtrabackup
containerPort: 3307
env:
- name: TZ
value: Asia/Shanghai
command:
- bash
- "-c"
- |
set -ex
cd /var/lib/mysql
# 从备份信息文件里读取MASTER_LOG_FILE和MASTER_LOG_POS这2个字段的值，用来拼装集群初始化SQL
if [[ -f xtrabackup_slave_info && "x$(<xtrabackup_slave_info)" != "x" ]]; then
# 如果xtrabackup_slave_info文件存在，说明这个备份数据来自于另一个Slave节点
# 这种情况下，XtraBackup工具在备份的时候，就已经在这个文件里自动生成了“CHANGE MASTER TO”SQL语句
# 所以，只需要把这个文件重命名为change_master_to.sql.in，后面直接使用即可
cat xtrabackup_slave_info | sed -E 's/;$//g' > change_master_to.sql.in
# 所以，也就用不着xtrabackup_binlog_info了
rm -f xtrabackup_slave_info xtrabackup_binlog_info
elif [[ -f xtrabackup_binlog_info ]]; then
# 如果只是存在xtrabackup_binlog_info文件，说明备份来自于Master节点，就需要解析这个备份信息文件，读取所需的两个字段的值
[[ `cat xtrabackup_binlog_info` =~ ^(.*?)[[:space:]]+(.*?)$ ]] || exit 1
rm -f xtrabackup_binlog_info xtrabackup_slave_info
# 把两个字段的值拼装成SQL，写入change_master_to.sql.in文件
echo "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}',\
MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.in
fi
# 如果存在change_master_to.sql.in，就意味着需要做集群初始化工作
if [[ -f change_master_to.sql.in ]]; then
# 但一定要先等MySQL容器启动之后才能进行下一步连接MySQL的操作
echo "Waiting for mysqld to be ready (accepting connections)"
until mysql -h 127.0.0.1 -uroot -pCWCcwy12 -e "SELECT 1"; do sleep 1; done
echo "Initializing replication from clone position"
mysql -h 127.0.0.1 -uroot -pCWCcwy12 \
-e "$(<change_master_to.sql.in), \
MASTER_HOST='mysql-0.mysql-headless', \
MASTER_USER='root', \
MASTER_PASSWORD='CWCcwy12', \
MASTER_CONNECT_RETRY=10; \
START SLAVE;" || exit 1
# 将文件change_master_to.sql.in改个名字
# 防止这个Container重启的时候，因为又找到了change_master_to.sql.in，从而重复执行一遍初始化流程
mv change_master_to.sql.in change_master_to.sql.orig
fi
# 使用ncat监听3307端口。
# 它的作用是，在收到传输请求的时候，直接执行xtrabackup --backup命令，备份MySQL的数据并发送给请求者
exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c \
"xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root --password=CWCcwy12"
volumeMounts:
- name: data
mountPath: /var/lib/mysql
subPath: mysql
- name: conf
mountPath: /etc/mysql/conf.d
resources:
requests:
cpu: 100m
memory: 100Mi
volumes:
- name: conf
emptyDir: {}
- name: config-map
configMap:
name: mysql #指定名称为mysql的configMap
volumeClaimTemplates:
- metadata:
name: data
namespace: default #属于的命名空间
spec:
storageClassName: "nfs-client-storageclass-mysql" #StorageClass的名称
accessModes: ["ReadWriteOnce"]
resources:
requests:
storage: 5Gi
kubectl apply -f mysql-statefulset.yaml kubectl get pods -n default
说明：
使用 xtrbackup 工具进行容器初始化数据的备份，https://www.toutiao.com/i6999565563710292484
使用 linux 自带的 ncat 工具进行容器初始化数据的拷贝【使用ncat指令，远程地从前一个节点拷贝数据到本地]】https://www.cnblogs.com/chengd/p/7565280.html
使用mysql的binlog 主从复制 来保证主从之间的数据一致
利用pod的主机名的序号来判断当前节点为主节点还是从节点，再根据对于节点拷贝不同的配置文件到指定位置
使用mysqladmin的ping 作为数据库的健康检测方式
使用nfs存储的 PV 动态供给（StorageClass），持久化mysql的数据文件。
StatefulSet 启动成功后，将会有三个 Pod 运行。
master节点读写操作都可以进行。
kubectl exec -it mysql-0 -n default -c mysql /bin/bash mysql -uroot -pCWCcwy12 -h 127.0.0.1
CREATE DATABASE test;
CREATE TABLE test.messages (message VARCHAR(250));
INSERT INTO test.messages VALUES ('hello');
slave节点是无法进行写操作的。
kubectl exec -it mysql-1 -n default -c mysql /bin/bash mysql -uroot -pCWCcwy12 -h 127.0.0.1
INSERT INTO test.messages VALUES ('hello');
SELECT * FROM test.messages;
