docker 磁盘满了

发表于 | 分类于 | 阅读次数

/etc/docker/daemon.json

1
2
3
4
5
6
7
8
9
{
    "data-root": "/data/docker",
    "live-restore": true,
    "log-driver": "json-file",
    "log-opts": {
        "max-file": "10",
        "max-size": "100m"
    }
}

1
df -h

每次创建一个容器时，都会有一些文件和目录被创建，例如：

  • /var/lib/docker/containers/ID目录，如果容器使用了默认的日志模式，他的所有日志都会以JSON形式保存到此目录下。
  • /var/lib/docker/overlay2 目录下含有容器的读写层，如果容器使用自己的文件系统保存了数据，那么就会写到此目录下。

当停止容器后，容器占用的空间就会变为可回收的（使用docker system df查看），删除容器时会删除其关联的读写层占用的空间。

1
2
# 所有已经停止的容器
docker container prune

查看

system 空间占用大小

1
2
3
4
5
6
7
# 用于查询镜像（Images）、容器（Containers）和本地卷（Local Volumes）等空间使用大户的空间占用情况
➜  ~ docker system df
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          0         0         0B        0B
Containers      0         0         0B        0B
Local Volumes   0         0         0B        0B
Build Cache     0         0         0B        0B

TYPE 列出了docker 使用磁盘的 4 种类型：

  • Images：所有镜像占用的空间，包括拉取下来的镜像，和本地构建的。
  • Containers：运行的容器占用的空间，表示每个容器的读写层的空间。
  • Local Volumes：容器挂载本地数据卷的空间。
  • Build Cache：镜像构建过程中产生的缓存空间（只有在使用 BuildKit 时才有，Docker 18.09 以后可用）。
  • 最后的 RECLAIMABLE 是可回收大小。

查看空间占用细节

可以进一步通过 -v 参数查看空间占用细节，以确定具体是哪个镜像、容器或本地卷占用了过高空间。示例输出如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
docker system df -v


# 镜像的空间使用情况
Images space usage:

REPOSITORY                                                   TAG                 IMAGE ID            CREATED             SIZE                SHARED SIZE         UNIQUE SIZE         CONTAINERS
busybox                                                      latest              6ad733544a63        5 days ago          1.129 MB            0 B                 1.129 MB            1
nginx                                                        latest              b8efb18f159b        3 months ago        107.5 MB            107.5 MB            0 B                 4
ubuntu                                                       latest              14f60031763d        3 months ago        119.5 MB            0 B                 119.5 MB            0
alpine                                                       3.3                 606fed0878ec        4 months ago        4.809 MB            0 B                 4.809 MB            0
tutum/curl                                                   latest              01176385d84a        3 years ago         224.4 MB            0 B                 224.4 MB            1

# 容器的空间使用情况
Containers space usage:

CONTAINER ID        IMAGE                                                                    COMMAND                  LOCAL VOLUMES       SIZE                CREATED             STATUS                     NAMES
d1da451ceeab        busybox                                                                  "ping 127.0.0.1"         0                   10.7 GB             About an hour ago   Up About an hour           dstest
956ae1d241e8        nginx:latest                                                             "nginx -g 'daemon ..."   0                   26 B                3 months ago        Up 3 months                localTest_restserver_2
74973d237a06        nginx:latest                                                             "nginx -g 'daemon ..."   0                   2 B                 3 months ago        Up 3 months                

# 本地卷的空间使用情况
Local Volumes space usage:

VOLUME NAME                                                        LINKS               SIZE
83ba8747f4172a3c02a15f85b71e1565affca59f01352b4a94e0d28e65c26d1c   0                   830 B
a479c303b278f1442f66644f694a554aac630e72b7a27065a11ef85c4d87b648   0                   22.16 MB
79a25b6376e0d6587d8f4f24e08f9467981f04daad14bf3353a12d727d065503   1                   18.83 MB

目录文件大小

1
2
3
4
5
6
7
8
9
10
11
12
13
# 查看目录大小
du -sh /var/lib/docker/

# 排序
#参数说明：
#--max-depth：表示要查看几层目录
#sort -r：反向显示
#sort -h：compare human readable numbers (e.g., 2k 1G)
sudo du -h --max-depth=1 . | sort -hr
du -h --max-depth=1 . | sort -h

ls    -Slh

查看

1
2
3
4
5
6
7
8
# 查看占用空间的pid，以及对应的容器名称

docker ps -q | xargs docker inspect --format ', , ' | grep "overlay2 hash"


# docker 资源情况
docker stats

镜像/容器内空间

镜像

1
docker history image:tag

结合业务情况做进一步处理，重新 build 镜像。

容器

按容器显示磁盘使用情况

该docker ps -s命令为每个容器显示两个不同的磁盘大小：

1
2
3
4
5
$ docker ps -s

CONTAINER ID   IMAGE          COMMAND                  CREATED        STATUS       PORTS   NAMES        SIZE                                                                                      SIZE
e90b8831a4b8   nginx          "/bin/bash -c 'mkdir "   11 weeks ago   Up 4 hours           my_nginx     35.58 kB (virtual 109.2 MB)
00c6131c5e30   telegraf:1.5   "/entrypoint.sh"         11 weeks ago   Up 11 weeks          my_telegraf  0 B (virtual 209.5 MB)
  • “大小”信息显示用于每个容器的可写层的数据量（在磁盘上）
  • “虚拟大小”是用于容器和可写层使用的只读图像数据的磁盘空间总量。

清理

慎重执行

1
2
3
4
5
6
7
8
9
# Remove all unused images not just dangling ones
docker system prune -a
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all images without at least one container associated to them
  - all build cache
  
docker volume prune

清理container log

1
2
3
du -d1 -h /var/lib/docker/containers | sort -h

> xxx-json.log

修改文件 /etc/docker/daemon.json，并增加以下配置，控制日志的文件个数和单个文件的大小

1
2
3
4
5
6
{
    "log-driver":"json-file",
    "log-opts":{
        "max-size" :"50m","max-file":"1"
    }
}

1
2
sudo systemctl daemon-reload
sudo systemctl restart docker

docker overlay2占用大

目录下的文件都是docker使用的存储, 存的是我们的镜像文件和容器内的文件。

结构

容器层对应两个目录：一个以CacheID命名。一个以CacheID-init 命名。

  • 带init的目录 目录是只读的

  • 没有init的容器目录 容器的读写目录，容器中写入时候会把文件拷贝进来（读操作直接在每层操作，不需拷贝）

    比如进入容器，在home下写一个hello.txt的文件，于是宿主机该目录下的diff目录中多了一个 home目录，下边多了一个hello.txt文件。

1
2
3
4
5
6
7
8
9
10
11
# overlay2下有如下目录

fc7a3972226cc84ec052011f547cd594e5298866bd012ae66cbc388d18855b99/
fc7a3972226cc84ec052011f547cd594e5298866bd012ae66cbc388d18855b99-init/


# 查看 overlay 对应的容器名 Name
docker ps -q | xargs docker inspect --format ', , , ' | grep "fc7a3972226cc84ec052011f547cd594e5298866bd012ae66cbc388d18855b99"

# 也可以根据容器名 找到 存储位置WorkDir
docker ps -q | xargs docker inspect --format ', , , ' | grep  gateway

没有init的容器目录

1
2
3
4
5
6
-rw------- 1 root root    0 Jan 21 08:49 committed
drwxr-xr-x 3 root root 4096 Jan 21 08:49 diff  # 文件目录，各层的目录都会放在下边
-rw-r--r-- 1 root root   26 Jan 21 08:49 link # link 文件 写明该存储对应的镜像层
-rw-r--r-- 1 root root   86 Jan 21 08:49 lower# 指名该镜像层对应的底层镜像层
drwx------ 2 root root 4096 Jan 21 08:49 work # 文件系统的工作基础目录，挂载后内容会被清空，且在使用过程中其内容用户不可见

镜像层存储目录，一个以CacheID命名的目录

清理

  • 删除不用的镜像 docker system prune (清理磁盘，删除关闭的容器、无用的数据卷和网络，以及dangling镜像(即无tag的镜像)

  • 检查各容器的磁盘占用，如果有发现磁盘占用过高的情况则对应处理，如果容器内服务有写文件行为，则写文件的目录应当挂载到宿主机上，而不是直接往容器的本地写

    使用docker system df [-v] 参考容器和volume占用

  • 检查是否有容器内的服务会往容器内的本地写文件 （容器占用大，volume占用小）

  • 需要应急处理的话可以先进入容器内直接删除容器内可以删除的文件

检查磁盘分区挂载情况

Linux 硬盘分区、分区、删除分区、格式化、挂载、卸载

Linux下mount挂载新硬盘和开机自动挂载

1
2
# 检查磁盘分区挂载
lsblk

如图有个200G的盘没有挂载，mount point 是空的

企业微信截图_b34aed63-4667-4eb7-a1a1-dea18aad3b21

格式化分区， Linux操作系统分区格式Ext2,Ext3,Ext4的区别

# 格式化成ext4
mkfs.ext4 /dev/vdb1

格式化之后，就可以挂载分区了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
mkdir /data

mount /dev/vdb1 /data

# 检查
lsblk


NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0    7:0    0 113.9M  1 loop /snap/core/13308
loop1    7:1    0   114M  1 loop /snap/core/13425
sr0     11:0    1   872K  0 rom
vda    252:0    0    50G  0 disk
├─vda1 252:1    0     1M  0 part
├─vda2 252:2    0   500M  0 part /boot
├─vda3 252:3    0     4G  0 part
└─vda4 252:4    0  45.5G  0 part /
vdb    252:16   0   200G  0 disk
└─vdb1 252:17   0   200G  0 part /data

这样设置，机器重启后挂载点消失，所以必须设置永久挂载

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 查看盘的UUID 格式
blkid

...
/dev/vdb1: UUID="bf731254-57ae-4653-b3bf-a1383360c2e1" TYPE="ext3" PARTUUID="b85efa80-01"
..

# 修改配置
vim /etc/fstab

# 分区设备号 挂载点 文件系统类型	挂载选项	是否备份	
UUID=bf731254-57ae-4653-b3bf-a1383360c2e1 /data ext4 defaults 0 0



# 将 /etc/fstab 中定义的所有档案系统挂上。 检验编辑的内容是否有错
mount -a
要挂载的分区设备号 挂载点 文件系统类型 挂载选项 是否使用dump备份 是否开机的时候使用fsck检验所挂载的磁盘
UUID=bf731254-57ae-4653-b3bf-a1383360c2e1 /data ext4 defaults 0 0

多目录挂载

1
2
3
# disk 创建分区
sudo gdisk /dev/nvme1n1  
sudo gdisk /dev/nvme0n1

创建1个分区,

image-20231109153101587

分区类型选择 Linux LVM(8e00)

image-20231109153318419

p 打印结果，w 保存

image-20231109153440356

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 查看创建的分区
sudo fdisk -l


Disk /dev/nvme0n1: 1.47 TiB, 1600321314816 bytes, 3125627568 sectors
Disk model: INTEL SSDPE2KE016T8                     
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 5FB4B969-4161-44E5-9127-5A842F1FF47F

Device         Start        End    Sectors  Size Type
/dev/nvme0n1p1  2048 3125627534 3125625487  1.5T Linux LVM  # 1个/dev/nvme0n1p1分区

基本概念：

PV（Physical Volume）- 物理卷 物理卷在逻辑卷管理中处于最底层，它可以是实际物理硬盘上的分区，也可以是整个物理硬盘，也可以是raid设备。

VG（Volumne Group）- 卷组 卷组建立在物理卷之上，一个卷组中至少要包括一个物理卷，在卷组建立之后可动态添加物理卷到卷组中。一个逻辑卷管理系统工程中可以只有一个卷组，也可以拥有多个卷组。

LV（Logical Volume）- 逻辑卷

逻辑卷建立在卷组之上，卷组中的未分配空间可以用于建立新的逻辑卷，逻辑卷建立后可以动态地扩展和缩小空间。系统中的多个逻辑卷可以属于同一个卷组，也可以属于不同的多个卷组。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
# 创建PV
sudo pvcreate /dev/nvme1n1p1 /dev/nvme0n1p1 /dev/nvme3n1p1 /dev/nvme2n1p1

  Physical volume "/dev/nvme1n1p1" successfully created.
  Physical volume "/dev/nvme0n1p1" successfully created.
  Physical volume "/dev/nvme3n1p1" successfully created.
  Physical volume "/dev/nvme2n1p1" successfully created.

# 查看PV
sudo pvdisplay

  "/dev/nvme1n1p1" is a new physical volume of "<1.46 TiB"
  --- NEW Physical volume ---
  PV Name               /dev/nvme1n1p1
  VG Name               
  PV Size               <1.46 TiB
  Allocatable           NO
  PE Size               0   
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               zneQlI-GFKg-OChk-YrlT-Kw56-1fde-vjvUzj
  
# 创建VG  lvm_data是vg组的名字，可以自定义
sudo vgcreate lvm_data /dev/nvme1n1p1 /dev/nvme0n1p1 /dev/nvme3n1p1 /dev/nvme2n1p1
  Volume group "lvm_data" successfully created

# 查看vg
sudo vgdisplay 
  --- Volume group ---
  VG Name               lvm_data
  System ID             
  Format                lvm2
  Metadata Areas        4
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                4
  Act PV                4
  VG Size               5.82 TiB
  PE Size               4.00 MiB
  Total PE              1526180
  Alloc PE / Size       0 / 0   
  Free  PE / Size       1526180 / 5.82 TiB
  VG UUID               pszQhl-XUku-6eQF-s5vU-8AdQ-bfMp-hdRpQ7

# 创建LV -L是指定大小、-n是自定义lv的名称
sudo lvcreate -L 5.82T -n lvmdata_1 lvm_data
  Rounding up size to full physical extent 5.82 TiB
  Logical volume "lvmdata_1" created.
  
  
# 查看分区
sudo fdisk -l
....
Disk /dev/mapper/lvm_data-lvmdata_1: 5.84 TiB, 6399161532416 bytes, 12498362368 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

剩下就是和挂载单个磁盘一样

1
2
3
4
5
6
7
8
9
10
11
12
# 格式化磁盘
sudo mkfs.ext4 /dev/mapper/lvm_data-lvmdata_1

# 挂载
sudo mkdir /data
sudo mount /dev/mapper/lvm_data-lvmdata_1 /data

# 效果
df -h
Filesystem                      Size  Used Avail Use% Mounted on
....
/dev/mapper/lvm_data-lvmdata_1  5.8T   89M  5.5T   1% /data

开机挂载

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# 查看盘的UUID 格式
lsblk -pf

NAME                               FSTYPE      LABEL    UUID                                   FSAVAIL FSUSE% MOUNTPOINT
/dev/nvme1n1                                                                                                  
└─/dev/nvme1n1p1                   LVM2_member          zneQlI-GFKg-OChk-YrlT-Kw56-1fde-vjvUzj                
  └─/dev/mapper/lvm_data-lvmdata_1 ext4                 cf4d9cc7-d83c-4da6-999f-ebb17d600d33      5.5T     0% /data
/dev/nvme0n1                                                                                                  
└─/dev/nvme0n1p1                   LVM2_member          M3xtpb-G7Ib-7YM9-l2Eb-nry6-ync1-6u3JQu                
  └─/dev/mapper/lvm_data-lvmdata_1 ext4                 cf4d9cc7-d83c-4da6-999f-ebb17d600d33      5.5T     0% /data
/dev/nvme3n1                                                                                                  
└─/dev/nvme3n1p1                   LVM2_member          JriJKh-QFrf-erh0-whBK-tu6U-qdoY-EZerLh                
  └─/dev/mapper/lvm_data-lvmdata_1 ext4                 cf4d9cc7-d83c-4da6-999f-ebb17d600d33      5.5T     0% /data
/dev/nvme2n1                                                                                                  
└─/dev/nvme2n1p1                   LVM2_member          Nd5RjT-MJu6-Y4NF-pt40-HWUK-nHfu-14cw6P                
  └─/dev/mapper/lvm_data-lvmdata_1 ext4                 cf4d9cc7-d83c-4da6-999f-ebb17d600d33      5.5T     0% /data
  

# 修改配置
vim /etc/fstab

/dev/mapper/lvm_data-lvmdata_1 /data ext4 defaults 0 0

# 将 /etc/fstab 中定义的所有档案系统挂上。 检验编辑的内容是否有错
mount -a

docker数据迁移

默认docker数据目录 /var/lib/docker

最方便的docker数据目录迁移

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# 查看具体位置
docker info | grep "Docker Root Dir"


# stop
systemctl stop docker

# 重启断开，防止自启，断开docker挂载，防止迁移过程出现Device or resource busy
systemctl disable docker


# 迁移
cp -ravf /var/lib/docker /data/docker
nohup cp -ravf /var/lib/docker /data/docker &
# 加入软连接
ln -s /var/lib/docker /data/docker 

# 或者修改 /etc/docker/daemon.json
vim /etc/docker/daemon.json
{
    ...
    "data-root": "/data/docker",
    ...
}


# 启动dokcer
systemctl start docker
systemctl enable docker

遇到Error response from daemon: layer does not exist

pod起不来，ImageInspectError之类的报错。参考

  • 重新pull成功，但是images看不到
  • rmi会报错,Error response from daemon: unrecognized image ID sha256：xxx

后面删除/data/docker/image目录，重启docker，才重新拉取成功，pod也最好delete一