使用 BuildKit 构建镜像

什么是BuildKit

BuildKit 由 Docker 公司开发的“下一代 docker build 工具”,2018 年 7 月正式内置于 Docker-ce 18.06.0 的 Docker daemon ,Mac 和 Linux 可以使用环境变量 DOCKER_BUILDKIT=1 开启,同年 10 月发布社区版本。

BuildKit 特点

  • 支持并行的多阶段构建、更好的缓存管理
  • 支持 secret mount,无需 root priviliege
  • 使用自定义中间语言 LLB,完全兼容 Dockerfile,也可支持第三方语言
  • 多种输出格式(image,tar包等等)

BuiltKit 主要分为以下几个部分

  • frontends: build 的描述定义,比如 Dockerfile,面向用户
  • solver/low level builder: 负责语法解析,生成中间结构,cache 管理
  • exporter: 生成物导出,比如现在的 image

有了抽象的 frontends 和 exporter,BuildKit 已经不再单单是针对 dockerfile 的一个优化,而是一个通用的构建系统。像 LLVM 一样,它可以支持多语言: Dockerfile,BuildPack,以及各种可能的自定义语言。在输出端,镜像也不再是唯一的输出格式,还可以是文件,目录,plugin,其他的镜像格式等等。

而最核心的,自然是 solver 部分。类似编译器的最核心部分:将源代码专程成目标结果

LLB

LLB是一个中间语言, 类似于LLVM中的LLVM IR. 开发人员可以通过这套中间语言去优化构建流程, 而不需要对上层描述语言如Dockerfile进行修改.

注意:如果您的镜像构建使用的是云服务商提供的镜像构建服务(Docker Hub 自动构建、腾讯云容器服务、阿里云容器服务等),如果上述服务提供商的 Docker 版本低于 18.09,BuildKit 无法使用,将造成镜像构建失败。建议使用 BuildKit 构建镜像时使用一个新的 Dockerfile 文件(例如 Dockerfile.buildkit)

注意:docker-compose 从1.25.0 开始支持 BuildKit

配置方式

export DOCKER_BUILDKIT=1            # or configure in daemon.json
export COMPOSE_DOCKER_CLI_BUILD=1

启动BuildKit

  • 临时使用

    DOCKER_BUILDKIT=1 docker build .
    
  • 默认启用BuildKit,不再需要指定环境

    {
    "experimental": true,
    "features": {
      "buildkit": true
    }
    }
    

Dockerfile 新增语法详解

启用 BuildKit 之后,我们可以使用下面几个新的 Dockerfile 指令来加快镜像构建。

RUN --mount=type=bind

这个是默认的挂载模式, 可以将一个镜像(或上一构建阶段)的文件挂载到指定位置。可选参数如下(不翻译了)

Option Description
target (required) Mount path.
source Source path in the from. Defaults to the root of the from.
from Build stage or image name for the root of the source. Defaults to the build context.
rw,readwrite Allow writes on the mount. Written data will be discarded.

示例

# syntax = docker/dockerfile:experimental
FROM busybox
RUN --mount=type=bind,from=php:alpine,source=/usr/local/bin/docker-php-entrypoint,target=/docker-php-entrypoint \
cp /docker-php-entrypoint /fromphp

RUN --mount=type=tmpfs

该指令可以将一个 tmpfs 文件系统挂载到指定位置。

Option Description
target (required) Mount path.

示例

# syntax = docker/dockerfile:experimental
FROM busybox
RUN --mount=type=tmpfs,target=/temp \
        mount | grep /temp

RUN --mount=type=secret

这个类似 k8s 的 secret,用来挂载一些不想打入镜像,但是构建时想使用的密钥等,例如 docker 的 config.json,S3 的 credentials

Option Description
id ID of the secret. Defaults to basename of the target path.
target Mount path. Defaults to /run/secrets/ + id.
required If set to true, the instruction errors out when the secret is unavailable. Defaults to false.
mode File mode for secret file in octal. Default 0400.
uid User ID for secret file. Default 0.
gid Group ID for secret file. Default 0.

示例 access to S3

# syntax = docker/dockerfile:experimental
FROM python:3
RUN pip install awscli
RUN --mount=type=secret,id=aws,target=/root/.aws/credentials aws s3 cp s3://... ...
$ docker build -t test --secret id=aws,src=$HOME/.aws/credentials .

RUN --mount=type=ssh

允许 build 容器通过 SSH agent 访问 SSH key,并且支持 passphrases

Option Description
id ID of SSH agent socket or key. Defaults to “default”.
target SSH agent socket path. Defaults to /run/buildkit/ssh_agent.${N}.
required If set to true, the instruction errors out when the key is unavailable. Defaults to false.
mode File mode for socket in octal. Default 0600.
uid User ID for socket. Default 0.
gid Group ID for socket. Default 0.

示例 access to Gitlab

# syntax = docker/dockerfile:experimental
FROM alpine
RUN apk add --no-cache openssh-client
RUN mkdir -p -m 0700 ~/.ssh && ssh-keyscan gitlab.com >> ~/.ssh/known_hosts
RUN --mount=type=ssh ssh git@gitlab.com | tee /hello
$ eval $(ssh-agent)
$ ssh-add ~/.ssh/id_rsa
(Input your passphrase here)
$ docker build -t test --ssh default=$SSH_AUTH_SOCK .

你也可以直接使用宿主机目录的 pem 文件,但是带有密码的 pem 目前不支持

RUN --mount=type=cache

专用于作为 cache 的挂载位置,一般用于 cache 包管理器的下载等

Option Description
id id 设置一个标志,以便区分缓存。
target (必填项) 缓存的挂载目标文件夹。
ro,readonly 只读,缓存文件夹不能被写入。
sharing shared private locked 值可供选择。sharing 设置当一个缓存被多次使用时的表现,由于 BuildKit 支持并行构建,当多个步骤使用同一缓存时(同一 id)会发生冲突。shared 表示多个步骤可以同时读写,private 表示当多个步骤使用同一缓存时,每个步骤使用不同的缓存,locked 表示当一个步骤完成释放缓存后,后一个步骤才能继续使用该缓存。
from 缓存来源(构建阶段),不填写时为空文件夹。
source 来源的文件夹路径。

示例

目前,几乎所有的程序都会使用依赖管理工具,例如 Go 中的 go modNode.js 中的 npm 等等,当我们构建一个镜像时,往往会重复的从互联网中获取依赖包,难以缓存,大大降低了镜像的构建效率。

例如一个前端工程需要用到 npm

FROM node:alpine as builder

WORKDIR /app

COPY app /app

COPY package.json /app/


RUN npm i --registry=https://registry.npm.taobao.org \
        && rm -rf ~/.npm

COPY src /app/src

RUN npm run build

FROM nginx:alpine

COPY --from=builder /app/dist /usr/share/nginx/html

使用多阶段构建,构建的镜像中只包含了目标文件夹 dist,但仍然存在一些问题,当 package.json 文件变动时,RUN npm i && rm -rf ~/.npm 这一层会重新执行,变更多次后,生成了大量的中间层镜像。

为解决这个问题,进一步的我们可以设想一个类似 数据卷 的功能,在镜像构建时把 node_modules 文件夹挂载上去,在构建完成后,这个 node_modules 文件夹会自动卸载,实际的镜像中并不包含 node_modules 这个文件夹,这样我们就省去了每次获取依赖的时间,大大增加了镜像构建效率,同时也避免了生成了大量的中间层镜像。

BuildKit 提供了 RUN --mount=type=cache 指令,可以实现上边的设想。

# syntax = docker/dockerfile:experimental
FROM node:alpine as builder

WORKDIR /app

COPY app /app

COPY package.json /app/

RUN --mount=type=cache,target=/app/node_modules,id=my_app_npm_module,sharing=locked \
    --mount=type=cache,target=/root/.npm,id=npm_cache \
        npm i --registry=https://registry.npm.taobao.org

COPY src /app/src

RUN --mount=type=cache,target=/app/node_modules,id=my_app_npm_module,sharing=locked \
        npm run build

FROM nginx:alpine

RUN --mount=type=cache,target=/tmp/dist,from=builder,source=/app/dist \
    cp -r /tmp/dist /usr/share/nginx/html

由于 BuildKit 为实验特性,每个 Dockerfile 文件开头都必须加上如下指令

# syntax = docker/dockerfile:experimental

命令

docker build  -f Dockerfile.buildx -t buildvue .

你可以修改package.json,重新构建,观察下。

第一个 RUN 指令执行后,idmy_app_npm_module 的缓存文件夹挂载到了 /app/node_modules 文件夹中。多次执行也不会产生多个中间层镜像。

第二个 RUN 指令执行时需要用到 node_modules 文件夹,node_modules 已经挂载,命令也可以正确执行。

第三个 RUN 指令将上一阶段产生的文件复制到指定位置,from 指明缓存的来源,这里 builder 表示缓存来源于构建的第一阶段,source 指明缓存来源的文件夹。

参考资料

results matching ""

    No results matching ""