从 Ubuntu amd64 到 arm7l 的交叉编译：exec 用户进程导致

Question

我对从 amd64 到 arm7l 的交叉编译感到头疼

我终于可以使用 Gitlab CI 来完成此操作，所以现在，我在 docker 映像中编译二进制文件，这是 dockerfile：

FROM golang

WORKDIR /go/src/gitlab.com/company/edge_to_bc

COPY . .

RUN dpkg --add-architecture armhf && apt update && apt-get install -y gcc-arm-linux-gnueabihf libltdl-dev:armhf

我将其构建为然后我将构建新容器“交叉编译”并准备好名称ubuntu:cross-compil

现在，我可以使用以下命令编译我的二进制文件：

docker run -it -v ${EDGE_TO_BC_PATH}/release:/go/src/gitlab.com/company/edge_to_bc/release ubuntu:cross-compil  bash -c 'CC=arm-linux-gnueabihf-gcc CXX=arm-linux-gnueabihf-g++ CGO_ENABLED=1 GOOS=linux GOARCH=arm GOARM=7 go build -v -o ./release/edge_to_bc '

我可以看到生成的可执行文件./release/edge_to_bc

然后我构建我的 docker 镜像：

docker build -t registry.gitlab.com/company/edge_to_bc:armhf .

我推动它。

在 Dockerfile 中，我只是从主机复制可执行文件：

FROM alpine:3.7

RUN apk --no-cache add ca-certificates libtool

WORKDIR /sunclient/

COPY ./release/edge_to_bc ./

EXPOSE 5555

CMD [ "./edge_to_bc" ]

但是当我在我的臂板上运行它时：

docker run --rm registry.gitlab.com/company/edge_to_bc:armhf

我得到：

standard_init_linux.go:207: exec user process caused "no such file or directory"

调试时，如果我想获取文件列表

docker run --rm registry.gitlab.com/company/edge_to_bc:armhf

我得到：

standard_init_linux.go:207: exec user process caused "exec format error"

这表明二进制仍然没有正确的格式......

我错过了什么 ？我在这个话题上花了很多时间，并没有更多的想法。

Answer 1

当您使用以下命令在arm7映像的amd64系统上运行构建时：docker build -t registry.gitlab.com/company/edge_to_bc:armhf .它将使用基础映像并在该映像中运行 amd64 的命令。因此，即使您的单个edge_to_bc二进制文件可以交叉编译，图像的其余部分也不会。接下来，二进制编译命令本身看起来像是链接到库，而这些库很可能不在您的最终映像中。您可以运行ldd edge_to_bc查看这些链接，如果它们丢失，您将收到文件未找到错误。在我自己的交叉编译测试中，我在 19.03.0-rc2 上使用 BuildKit、Buildx 和一些实验性功能，因此其中的某些部分不向后兼容，但希望对您有所帮助。我使用多阶段构建来避免在 docker 之外进行编译，然后进行第二次构建。我还指定了构建主机的平台，并使用目标架构和操作系统变量来配置交叉编译。在这种情况下，我使用了完全静态链接的二进制文件，因此没有要包含的库，并且在最终发布映像中仅使用复制命令，我避免了在不同平台上运行构建的问题。# syntax=docker/dockerfile:experimental# ^ above line must be at the beginning of the Dockerfile for BuildKit# --platform pulls an image for the build host rather than target OS/ArchFROM --platform=$BUILDPLATFORM golang:1.12-alpine as devRUN apk add --no-cache git ca-certificatesRUN adduser -D appuserWORKDIR /srcCOPY . /src/CMD CGO_ENABLED=0 go build -o app . && ./app# my dev stage is separate from build to allow mounting source and rebuilding# on developer machines    FROM --platform=$BUILDPLATFORM dev as buildARG TARGETPLATFORMARG TARGETOSARG TARGETARCH# --mount is an experimental BuildKit featureRUN --mount=type=cache,id=gomod,target=/go/pkg/mod/cache \    --mount=type=cache,id=goroot,target=/root/.cache/go-build \    CGO_ENABLED=0 GOOS=${TARGETOS} GOARCH=${TARGETARCH} \    go build -ldflags '-w -extldflags -static' -o app .USER appuserCMD [ "./app" ]# this stage will have the target OS/Arch and cannot have any RUN commandsFROM scratch as releaseCOPY --from=build /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/COPY --from=build /etc/passwd /etc/group /etc/COPY --from=build /src/app /appUSER appuserCMD [ "/app" ]FROM scratch as artifactCOPY --from=build /src/app /appFROM release为了构建这个，我可以使用 BuildKit 运行一次性构建命令：DOCKER_BUILDKIT=1 docker build --platform=linux/amd64 -f Dockerfile -t golang-app:amd64 .DOCKER_BUILDKIT=1 docker build --platform=linux/arm64 -f Dockerfile -t golang-app:arm64 .但更好的是 Buildx 版本，它创建了一个可以在多个平台上运行的多架构映像。这确实需要您推送到注册表服务器：docker buildx build -f Dockerfile --platform linux/amd64,linux/arm64 \  -t ${docker_hub_id}/golang-app:multi-arch --output type=registry .对于您的场景，您可以将 arm64 的引用替换为您自己的架构。该--platform选项在我运行的许多命令中被列为实验性选项，因此您可能需要在 /etc/docker/daemon.json 文件中配置以下内容才能启用：{ "experimental": true }我相信这需要完全重新启动 docker 守护进程 ( systemctl restart docker)，而不仅仅是重新加载才能生效。为了从构建中提取工件（特定架构的编译二进制文件），我使用：docker build -f Dockerfile --target artifact -o type=local,dest=. .这会将工件阶段（单个二进制文件）的内容输出到本地目录。以上是 Docker 构建多架构镜像的方法列表中的选项 3。选项 1 是使用 binfmt_misc 配置 qemu 来为不同平台构建和运行映像。我还无法通过 Buildx 在 Linux 上实现这一点，但 Docker 已经在 Mac 上实现了这一点，您也许可以找到有关他们在 LinuxKit 项目中所做的更多详细信息。如果您需要运行命令并安装其他工具作为构建的一部分，而不仅仅是交叉编译单个静态链接的二进制文件，那么根据您的情况使用 qemu 可能是理想的选择。选项 2 是在目标平台上运行构建，正如您所看到的，效果很好。使用Buildx，您可以添加多个构建节点，每个平台最多一个，从而允许您从单个位置（CI 服务器）运行构建。