使用 BuildKit 构建镜像

什么是BuildKit

BuildKit 由 Docker 公司开发的“下一代 docker build 工具”，2018 年 7 月正式内置于 Docker-ce 18.06.0 的 Docker daemon ，Mac 和 Linux 可以使用环境变量 DOCKER_BUILDKIT=1 开启，同年 10 月发布社区版本。

BuildKit 特点

• 支持并行的多阶段构建、更好的缓存管理
• 支持 secret mount，无需 root priviliege
• 使用自定义中间语言 LLB，完全兼容 Dockerfile，也可支持第三方语言
• 多种输出格式（image,tar包等等）

BuiltKit 主要分为以下几个部分

• frontends: build 的描述定义，比如 Dockerfile,面向用户
• solver/low level builder: 负责语法解析，生成中间结构，cache 管理
• exporter: 生成物导出,比如现在的 image

有了抽象的 frontends 和 exporter，BuildKit 已经不再单单是针对 dockerfile 的一个优化，而是一个通用的构建系统。像 LLVM 一样，它可以支持多语言: Dockerfile,BuildPack,以及各种可能的自定义语言。在输出端，镜像也不再是唯一的输出格式，还可以是文件，目录，plugin，其他的镜像格式等等。

而最核心的，自然是 solver 部分。类似编译器的最核心部分:将源代码专程成目标结果。

LLB

LLB是一个中间语言, 类似于LLVM中的LLVM IR. 开发人员可以通过这套中间语言去优化构建流程, 而不需要对上层描述语言如Dockerfile进行修改.

注意：如果您的镜像构建使用的是云服务商提供的镜像构建服务（Docker Hub 自动构建、腾讯云容器服务、阿里云容器服务等），如果上述服务提供商的 Docker 版本低于 18.09，BuildKit 无法使用，将造成镜像构建失败。建议使用 BuildKit 构建镜像时使用一个新的 Dockerfile 文件（例如 Dockerfile.buildkit）

注意：docker-compose 从1.25.0 开始支持 BuildKit

配置方式

export DOCKER_BUILDKIT=1            # or configure in daemon.json
export COMPOSE_DOCKER_CLI_BUILD=1

启动BuildKit

• 临时使用

  DOCKER_BUILDKIT=1 docker build .
  

• 默认启用BuildKit,不再需要指定环境

  {
  "experimental": true,
  "features": {
    "buildkit": true
  }
  }
  

Dockerfile 新增语法详解

启用 BuildKit 之后，我们可以使用下面几个新的 Dockerfile 指令来加快镜像构建。

RUN --mount=type=bind

这个是默认的挂载模式, 可以将一个镜像（或上一构建阶段）的文件挂载到指定位置。可选参数如下(不翻译了)

示例

# syntax = docker/dockerfile:experimental
FROM busybox
RUN --mount=type=bind,from=php:alpine,source=/usr/local/bin/docker-php-entrypoint,target=/docker-php-entrypoint \
cp /docker-php-entrypoint /fromphp

RUN --mount=type=tmpfs

该指令可以将一个 tmpfs 文件系统挂载到指定位置。

示例

# syntax = docker/dockerfile:experimental
FROM busybox
RUN --mount=type=tmpfs,target=/temp \
        mount | grep /temp

RUN --mount=type=secret

这个类似 k8s 的 secret，用来挂载一些不想打入镜像，但是构建时想使用的密钥等，例如 docker 的 config.json，S3 的 credentials

示例 access to S3

# syntax = docker/dockerfile:experimental
FROM python:3
RUN pip install awscli
RUN --mount=type=secret,id=aws,target=/root/.aws/credentials aws s3 cp s3://... ...

$ docker build -t test --secret id=aws,src=$HOME/.aws/credentials .

RUN --mount=type=ssh

允许 build 容器通过 SSH agent 访问 SSH key，并且支持 passphrases

示例 access to Gitlab

# syntax = docker/dockerfile:experimental
FROM alpine
RUN apk add --no-cache openssh-client
RUN mkdir -p -m 0700 ~/.ssh && ssh-keyscan gitlab.com >> ~/.ssh/known_hosts
RUN --mount=type=ssh ssh git@gitlab.com | tee /hello

$ eval $(ssh-agent)
$ ssh-add ~/.ssh/id_rsa
(Input your passphrase here)
$ docker build -t test --ssh default=$SSH_AUTH_SOCK .

你也可以直接使用宿主机目录的 pem 文件，但是带有密码的 pem 目前不支持

RUN --mount=type=cache

专用于作为 cache 的挂载位置，一般用于 cache 包管理器的下载等

示例

目前，几乎所有的程序都会使用依赖管理工具，例如 Go 中的 go mod、Node.js 中的 npm 等等，当我们构建一个镜像时，往往会重复的从互联网中获取依赖包，难以缓存，大大降低了镜像的构建效率。

例如一个前端工程需要用到 npm：

FROM node:alpine as builder

WORKDIR /app

COPY app /app

COPY package.json /app/


RUN npm i --registry=https://registry.npm.taobao.org \
        && rm -rf ~/.npm

COPY src /app/src

RUN npm run build

FROM nginx:alpine

COPY --from=builder /app/dist /usr/share/nginx/html

使用多阶段构建，构建的镜像中只包含了目标文件夹 dist，但仍然存在一些问题，当 package.json 文件变动时，RUN npm i && rm -rf ~/.npm 这一层会重新执行，变更多次后，生成了大量的中间层镜像。

为解决这个问题，进一步的我们可以设想一个类似 数据卷 的功能，在镜像构建时把 node_modules 文件夹挂载上去，在构建完成后，这个 node_modules 文件夹会自动卸载，实际的镜像中并不包含 node_modules 这个文件夹，这样我们就省去了每次获取依赖的时间，大大增加了镜像构建效率，同时也避免了生成了大量的中间层镜像。

BuildKit 提供了 RUN --mount=type=cache 指令，可以实现上边的设想。

# syntax = docker/dockerfile:experimental
FROM node:alpine as builder

WORKDIR /app

COPY app /app

COPY package.json /app/

RUN --mount=type=cache,target=/app/node_modules,id=my_app_npm_module,sharing=locked \
    --mount=type=cache,target=/root/.npm,id=npm_cache \
        npm i --registry=https://registry.npm.taobao.org

COPY src /app/src

RUN --mount=type=cache,target=/app/node_modules,id=my_app_npm_module,sharing=locked \
        npm run build

FROM nginx:alpine

RUN --mount=type=cache,target=/tmp/dist,from=builder,source=/app/dist \
    cp -r /tmp/dist /usr/share/nginx/html

由于 BuildKit 为实验特性，每个 Dockerfile 文件开头都必须加上如下指令

# syntax = docker/dockerfile:experimental

命令

docker build  -f Dockerfile.buildx -t buildvue .

你可以修改package.json，重新构建，观察下。

第一个 RUN 指令执行后，id 为 my_app_npm_module 的缓存文件夹挂载到了 /app/node_modules 文件夹中。多次执行也不会产生多个中间层镜像。

第二个 RUN 指令执行时需要用到 node_modules 文件夹，node_modules 已经挂载，命令也可以正确执行。

第三个 RUN 指令将上一阶段产生的文件复制到指定位置，from 指明缓存的来源，这里 builder 表示缓存来源于构建的第一阶段，source 指明缓存来源的文件夹。

参考资料

• https://github.com/moby/buildkit/blob/master/frontend/dockerfile/docs/experimental.md
• https://docs.docker.com/develop/develop-images/build_enhancements/
• https://github.com/moby/buildkit