k8s 磁盘不够用，docker数据迁移 导致 /tmp Permission denied，docker优化日志 日志切割, 日志自动删除
前言
K8s 集群 随着pod运行服务的越来越多，运行时间越来越大，docker目录占用磁盘空间也在逐渐变大，终于在最近磁盘彻底占满导致容器启动不起来并提示"no device space left"。为了防止以后出现docker占用磁盘容量不够的情况决定对docker数据目录迁移。
1. docker数据迁移
docker数据默认存储在/var/lib/docker目录下。实际存储目录可以参考docker info输出
Client:...Server:...Docker Root Dir: var/docker/lib...
迁移步骤
1.1.停止dockerd服务
systemctl stop docker
1.2.创建新目录迁移数据
使用其他挂载盘，使用 cp 命令复制数据
cp -a /var/lib/docker /mnt/data/
注意这里一定要加 -p 或 用 -a 不然复制过去文件权限不对，有些容器启动会报错。如果不加p参数可能会导致迁移后的目录的/tmp目录（其他人&&组）丢失w(写)权限。教训：mongo容器启动需要在/tmp目录下创建****.sock监听请求，由于cp没有加上p参数导致/tmp目录从drwxrwxrwt权限变为drwxr-xr-t权限，无法成功启动。t权限是x+SBIT形成的。
下面举个例子: 变更 docker工作目录后 ,harbor启动异常，报错如下
rsyslogd: run failed with error -3000 (see rsyslog.h or try https://www.rsyslog.com/e/3000 to learn what that number means) rsyslogd: error writing pid file (creation stage) : Permission denied
-
解决方案
需要删除所有的容器，已经镜像重新下载镜像运行（数据需要挂载到外面，数据不会丢）
1.3. 编辑docker配置文件
辑配置文件添加一行"data-root": "/mnt/data/docker",
vim /etc/docker/daemon.json
{"registry-mirrors": [],"data-root": "/mnt/data/docker"
}
或者软链接新目录到原来的目录（需要删除原目录或者ln命令加上f参数强行移除）
ln -s /mnt/data/docker /var/lib/docker
1.4. 重启dockerd服务
systemctl start docker
别急着重启，看下docker 日志优化
1.5. 查看是否成功
- 使用docker info命令查看Docker Root Dir参数是否变为了新的目录
- 查看容器是否全部启动，如果没有启动可以通过ps -a命令查看exit容器并执行docker start {container_id}或者docker start
docker ps -a --filter 'status=exited' --format '{{.ID}}'重启所有退出的容器(该操作会重启已退出但未清除的临时容器，请根据实际情况过滤操作)
2. docker日志优化切割
再 Docker 不重建的情况下，日志文件会默认一直追加，时间长会慢慢的占满服务器硬盘空间。其实就是我们常用的docker logs命令打印的日志会打印到这个目录下的文件之中。
2.1 查看docker默认容器日志驱动
[root@xx-xx log]# docker info|grep 'Logging Driver'Logging Driver: json-file
2.2 查看一个运行中docker容器使用的日志驱动程序
[root@xx-xx log]# docker inspect -f '{{.HostConfig.LogConfig.Type}}' 96a7b67e2581
json-file
2.3 查看一个运行中docker容器使用的日志路径
[root@xx-xx log]# docker inspect -f '{{.LogPath}}' 4ba762e36fca
/mnt/data/docker/containers/4ba762e36fca30509f6052e3374f6975cf13d4066e8cdbe03f832302c80dd3d0/4ba762e36fca30509f6052e3374f6975cf13d4066e8cdbe03f832302c80dd3d0-json.log
可以看到这里的文件就是docker终端打印的日志，所有docker运行久了又不重启，这个日志就越来越大，不清理磁盘肯定炸。
2.4 容器启动时使用–log-driver指定其使用与Docker容器守护进程不同的日志驱动程序
docker run -it --log-driver none xxx
2.5 容器支持的驱动：
| 驱动名 | 描述 |
|---|---|
| none | 运行的容器没有日志，docker logs 没有任何输出 |
| local | 日志以自定义格式存储，旨在实现最小开销 |
| json-file | 日志格式为 json,docker 的默认日志记录驱动程序 |
| syslog | 将日志消息写入 syslog。改 syslog 守护程序必须在主机上运行 |
| journald | 将日志消息写入 journald。该 journald 守护程序必须在主机上运行 |
| gelf | 将日志消息写入 Graylog 扩展日志格式（GELF）端点，例如 Graylog 或 Logstash。 |
| fluentd | 将日志消息写入fluentd（转发输入）。该fluentd守护程序必须在主机上运行。 |
| awslogs | 将日志消息写入 Amazon CloudWatch Logs。 |
| splunk | 使用 HTTP 事件收集器将日志消息写入splunk。 |
| etwlogs | 将日志消息写为 Windows 事件跟踪（ETW）事件。仅适用于 Windows 平台。 |
| gcplogs | 将日志消息写入 Google Cloud Platform（GCP）Logging。 |
| logentries | 将日志消息写入 Rapid7 Logentries。 |
2.5.1 全局修改日志驱动
修改配置文件/etc/docker/daemon.json
{"log-driver": "none"
}
2.5.2 运行时控制，即在容器启动时添加参数的方式
# max-size 最大数值,必须大于0
# max-file 最大日志数，必须大于0
$ docker run -it --log-opt max-size=10m --log-opt max-file=3 容器名称
2.5.3 全局配置方式
创建或者修改文件/etc/docker/daemon.json，增加如下配置：
{"log-driver":"json-file","log-opts":{"max-size" :"10m","max-file":"20","compress": "true"}
}
由于该配置只对已经生成的容器不生效，将原容器销毁后重新创建
重启Docker服务
sudo systemctl daemon-reload
sudo systemctl restart docker