0. 背景
在之前 从 0 开始完成 STM32F411 工程的手动交叉编译 + 链接 的博客中,笔者使用 ARM 工具链完成了 STM32F411工程 的编译与链接:
- 从给
main.c不断试错后得到一条使用arm-none-eabi-gcc配合各种-I、-D、-mcpu等参数的完整交叉编译命令; - 到输出的
make-all.sh完成批量编译全部.c文件; - 最后指定
STM32F411xx_FLASH.ld链接出目标文件(.elf/.hex/.bin)。
实现了对 预处理 → 编译 → 汇编 → 链接 流程掌握的目的。在上述过程中,笔者使用编写 make-all.sh 脚本的方式,省去每次手敲几十行命令的繁琐流程,以尽可能让编译链接流程自动化。
但在当前背景下,实际的中大型项目代码中并非是通过编写脚本的方式实现编译流程的自动化,而是通过构建系统 (build system),但笔者在完成本篇博客之前对于构建系统的认知与了解也仅此而已 (中大型项目代码会使用构建系统),至于其中具体是如何实现、层次结构等一无所知。所以,笔者本篇博客的目的就是对构建系统进行概念梳理、实施、验证。
1. 概念梳理
在篇幅展开之前,经历了之前 从 0 开始完成 STM32F411 工程的手动交叉编译 + 链接 的博客的撰写,此刻笔者心中最大的疑问是:明明可以使用笔者之前所述,创建脚本的方式实现编译与链接的自动化,为什么还需要构建系统的出现?
对此,笔者也检索了一些论文与博客文章,最终在 Bazel 构建系统官方文档教程中找到了答案 (见参考 1)。
文中首先回答了 为什么不能只用编译器 的问题,教程认为在刚开始编程时,直接在命令行调用编译器(如 GCC)完全够用,但随着代码规模扩大,单纯依赖编译器会遭遇以下瓶颈:
跨目录与多语言限制:编译器虽然能查找子目录,但无法自动找到文件系统其他部分的代码,此外,现代大型系统往往包含多种编程语言,单一语言的编译器无法构建整个系统
复杂的依赖网络:多编译单元意味着构建不再是一步完成的,必须分析依赖关系并按正确的顺序构建,一旦有依赖发生变化,就必须重复整个过程,这在稍大规模的项目中就变得极其繁琐且容易出错
外部依赖管理困难:编译器不懂如何处理第三方库,开发者必须手动下载并配置编译器,随着时间推移,维护这些外部库的版本更新和来源会变得异常困难(但目前笔者的嵌入式开发中暂未面对过这类问题)
随后,文中又对 为什么脚本也不是好的解决方案,即笔者的疑惑作出了解答,教程认为脚本短时间内会很有效,但项目一旦规模扩大,就会引发以下问题:
维护成本高:系统变复杂后,编写和调试那些层层叠加的脚本所花费的时间,甚至快赶上编写实际业务代码的时间
构建速度慢:为了确保不遗漏任何更新,脚本通常会选择每次都重新编译所有依赖,虽然可以尝试编写逻辑来检测哪些部分需要重新构建,但对脚本来说这种增量检测过于复杂且容易出错
灾难恢复与环境同步困难:
- 环境重建难:一旦硬盘损坏,很难完全复原当初脚本所依赖的工具路径、环境变量和特定的第三方库版本
- 环境新建难:由于每个人机器存在微小差异(如工具路径、库版本不同),经常出现在 A 机器正常,在 B 机器崩溃,需要耗费数小时来调试
- 自动化构建频繁失败:如果把脚本丢给服务器做自动化夜间构建,经常会因为某位开发者提交了仅在自己电脑上能跑的代码,导致整个自动化构建崩溃
解决了最大的疑问后,接下来顺其自然的问题就是:构建系统究竟是什么,是属于脚本的演进版本,还是另外一类新的概念?要回答这个问题,笔者认为或许应该在构建系统概念最早出现的内容,及围绕该内容展开论述的内容中去寻找。
其一是:构建系统概念最早出现的内容,即 Feldman 在 1978 年为 make 发表的一篇文章 (见参考 2),Feldman 在其中并没有将 make 描述为一个更智能的 Shell 脚本,而是将其描述为一个巨大的依赖关系图,并且这张图基于文件的时间戳进行遍历,目标是为 B 依赖于 A,如果 A 的修改时间晚于 B,则执行编译 B 的命令 此类规则实现提供参考。这里就可以得知:构建系统概念上已经脱离了命令式的线性流程范畴,成为了一个基于拓扑排序的新概念。
其二是:围绕构建系统概念展开论述的内容,笔者找到一篇具体描述何谓构建系统的博客文章供读者加深理解 (见参考 3)。在这篇博客中,作者将构建系统定义为:一种工具或库,它们提供一种方法,用于定义和执行从输入数据到输出数据的一系列转换操作,这些转换结果通过存储在对象存储中的缓存来保存。其中,转换被称为步骤或规则,用于定义如何执行从零个或多个输入生成零个或多个输出的任务。 这里由于翻译原因,所以读起来有些拗口和抽象,建议读者直接阅读原文。
通过上述分析论证,现在可以得到一个明确的结论就是构建系统区别于脚本,其本质用一句话概述就是:能让你指定目标与依赖关系的工具。
完成上述对于构建系统基本概念的梳理后,接下来是对其具体涉及的开发工具的梳理,其中涉及的内容由于有之前手动构建、构建系统概念梳理完备的基础,所以理解并不复杂,整理如下:
| 工具泛称 | 职责 | 代表 |
|---|---|---|
| 编译/链接工具链 | 完成预处理、编译、汇编、链接等实际动作 | gcc、ld |
| 构建执行器 (build executor) | 读取规则文件,根据目标与依赖关系调度编译、链接命令 | make、ninja |
| 元构建系统 (meta-build systems) | 描述编译选项、链接选项、目标产物,并生成执行层规则文件 | cmake、meson |
1. 从 Shell 脚本到 Makefile
在之前的 make-all.sh 脚本中,笔者是这样组织脚本文件的:
1 | COMMON_FLAGS="-I Inc -I Drivers/STM32F4xx_HAL_Driver/Inc \ |
* make-all.sh 的部分实现
这个脚本本质上只是把一组编译命令顺序执行了一遍。随着开发继续,笔者发现它有两个明显问题:一是新增文件繁琐,每次新建 .c 文件都必须手动加入 SOURCES 变量;二是无脑全量编译,哪怕只修改了一行代码,脚本依然会把所有文件重新编译一遍。为了解决这两个问题,笔者开始尝试构建执行层工具:make。
make 通过读取 Makefile 中的规则来执行命令。为了聚焦依赖机制本身,笔者先给出了一个简化版本的 Makefile(完整工程只需把前作 make-all.sh 中的源文件列表迁移到变量中即可):
1 | CC = arm-none-eabi-gcc |
执行 make 后,终端会依次编译源文件与启动文件,然后执行链接。相比 make-all.sh,Makefile 首先带来的变化是:命令不再散落在 shell 循环中,而是被组织成了目标与依赖。接着,笔者尝试修改了 Core/Src/main.c 中的一行代码,再次执行 make,发现终端只重新编译了 main.c 并重新执行链接。根据 GNU Make 手册中关于规则与依赖的描述,make 会根据目标与依赖的时间戳判断哪些文件需要重建 (见参考 5)。这一步验证了 make 作为构建执行层的基本能力:它不是简单地顺序执行命令,而是根据依赖关系决定哪些命令需要重新执行。
然而,当笔者在 Core/Inc/main.h 中修改了一个宏定义,再次执行 make 时,终端却输出 make: 'build/firmware.elf' is up to date.。make 认为没有任何文件需要重新编译。笔者检查了 Makefile 中的规则 build/%.o: Core/Src/%.c,发现这条规则只告诉 make:main.o 依赖于 main.c,它并不知道 main.c 内部 #include 了 main.h。如果要手动补全依赖,在大型工程中显然不可行。
在查阅 GCC 官方手册中关于“控制预处理器的选项”章节时,笔者发现了 -MMD 和 -MP 参数 (见参考 6)。根据文档说明,-MMD 会在生成 .o 文件的同时生成同名的 .d 依赖文件,-MP 会为头文件添加伪目标防止报错。笔者在 CFLAGS 中加入这两个参数,并在 Makefile 末尾加上 -include $(OBJS:.o=.d)。清理后重新执行 make,在 build/ 目录下果然出现了 .d 文件。GCC 在预处理阶段自动梳理出了完整的头文件依赖树,再次修改 .h 文件后,相关 .c 文件被精准地重新编译。至此,Makefile 的增量编译逻辑才真正闭环。
2. 引入 CMake:构建配置层与交叉编译
Makefile 解决了执行层的自动化和增量编译问题,但新的问题也随之出现:Makefile 中依然混合了大量配置信息(如 CC、CFLAGS)。如果换一台电脑,或者需要同时支持 Debug 和 Release 两种配置,Makefile 里就可能出现大量条件判断。工具链配置、源文件列表、编译规则混在一起,维护成本会逐渐上升。
根据前文的认知地图,CMake 属于构建配置层。CMake Overview 中说明,CMake 会生成原生 makefiles 和 workspace (见参考 1)。也就是说,CMake 本身并不直接替代 gcc 或 make,而是把工程描述转换成底层构建工具可读取的规则。笔者先写了一个最简化的 CMakeLists.txt:
1 | cmake_minimum_required(VERSION 3.20) |
执行 cmake -B build 并 cmake --build build 后,在笔者环境下,构建过程在链接阶段出现了报错,其中比较关键的信息是 arm-none-eabi/bin/ld: undefined reference to '_sbrk'。
面对 _sbrk 未定义,笔者最初并不确定具体原因。根据前作中链接脚本和裸机工程的经验,笔者推测这可能与当前工程没有正确描述裸机运行环境有关(例如未指定交叉编译目标参数、未指定链接脚本或缺少系统调用桩)。为了验证推测,笔者使用 cmake --build build --verbose 查看底层实际执行的命令。在输出中可以看到类似 arm-none-eabi-gcc CMakeFiles/.../main.c.obj ... -o firmware.elf 的链接命令,其中并没有看到 -mcpu=cortex-m4、-T STM32F411xx_FLASH.ld 或 --specs=nano.specs。也就是说,CMake 在当前配置下并没有把嵌入式交叉编译所需的参数传递到底层命令中。
查阅 CMake 官方文档中关于交叉编译工具链的章节后,笔者了解到:在交叉编译场景下,需要通过 Toolchain File 告诉 CMake 目标系统、编译器以及基础编译/链接参数 (见参考 7)。笔者新建了 arm-gcc-toolchain.cmake,尝试将参数注入:
1 | set(CMAKE_SYSTEM_NAME Generic) |
重新配置并 --verbose 查看,发现编译命令中已经带上了架构参数,但链接命令中仍然缺少,构建依然失败。继续查阅 CMake 文档中关于 CMAKE_<LANG>_FLAGS_INIT 的说明 (见参考 8) 后,笔者意识到:CMAKE_C_FLAGS 主要作用于编译阶段,而链接阶段需要使用链接器相关变量。因此,Toolchain File 被修改为补充 CMAKE_EXE_LINKER_FLAGS_INIT,加入 --specs=nano.specs 等参数。重新清理并配置后,链接阶段顺利通过,生成了 firmware.elf。
至此,笔者对 CMake 的理解具体化为:CMake 负责描述工程,并把工程描述转换为底层构建工具可执行的规则;在嵌入式交叉编译中,Toolchain File 是把目标架构、编译器、基础编译/链接参数注入进去的关键入口。
3. 切换执行后端:Ninja 的引入
在上一节中,CMake 在笔者环境下默认生成的是 Makefile,实际执行层仍然是 make。但根据前文认知地图,Ninja 也是构建执行层工具。Ninja README 中说明,它关注构建速度,并且其输入文件通常由其他程序生成 (见参考 2)。这正好与 CMake 这类构建配置层工具配合:CMake 负责生成规则,Ninja 负责执行规则。
笔者尝试在配置时加入 -G Ninja 参数:cmake -B build -G Ninja -DCMAKE_TOOLCHAIN_FILE=arm-gcc-toolchain.cmake。执行后,build/ 目录下不再生成 Makefile,而是出现了 build.ninja 和 rules.ninja。打开 build.ninja,可以看到类似下面的片段:
1 | rule C_COMPILER__firmware_elf |
与 Makefile 相比,build.ninja 给笔者的直观感受是:它更少做变量推导和规则嵌套,而是直接描述具体构建步骤。执行 ninja -C build 后,在笔者当前这个中小型工程上,构建速度相比 make 有体感上的提升。需要说明的是,这里只是当前工程规模下的个人观察,不能作为严谨性能结论。更可靠的依据仍然是 Ninja 官方文档中的设计目标:Ninja 被设计为快速执行已经生成好的构建输入文件 (见参考 9)。结合这一点,笔者对 Ninja 的定位理解为:Ninja 并不是用来替代 CMake 这类配置层工具的,而是作为配置层工具生成规则后的执行层工具。
4. 剖析 CubeMX 生成的 CMake 工程
在完成上面的实验后,笔者回过头来看 STM32F411工程 中由 STM32CubeMX 生成的 CMake 文件。此时再看,它就不再只是“IDE 生成的一堆配置”,而是一份构建配置层描述。
在源文件组织上,CubeMX 生成的 CMake 配置中通常会使用 file(GLOB_RECURSE ...) 收集源文件。这种方式比在 Makefile 中手写 C_SRCS 更简洁。不过,笔者在使用时注意到:如果新增源文件,通常需要重新执行 CMake 配置。CMake 文档中也说明,file(GLOB) / file(GLOB_RECURSE) 默认不会在构建时自动重新扫描文件 (见参考 12)。因此,GLOB 可以简化配置,但在源文件频繁变动的工程中,需要意识到它的重新配置时机。
对于头文件与宏定义,CubeMX 配置中也会通过 target_include_directories 和 target_compile_definitions 将其加入目标。这对应了前作中手动编译时反复出现的 -ICore/Inc 和 -DSTM32F411xE,区别在于这些参数现在由 CMake 配置层统一管理。而在链接脚本方面,CMake 配置中通常会使用 target_link_options 显式指定 -T ${LINKER_SCRIPT},这对应了前作中手动链接时的 -T STM32F411xx_FLASH.ld。
最让笔者感到巧妙的是自动生成 .hex 和 .bin 的环节。前作最后一步是手动执行 objcopy,而在 CubeMX 生成的 CMake 配置中,可以看到类似 add_custom_command(TARGET ${PROJECT_NAME}.elf POST_BUILD ...) 的结构。根据 CMake 官方文档中关于 add_custom_command 构建事件的说明,POST_BUILD 表示在目标构建完成后执行自定义命令 (见参考 10)。因此,只要构建 firmware.elf,CMake 就可以在链接完成后自动调用 objcopy 生成镜像文件。这一步让前作中的手动镜像转换也被彻底纳入了构建系统。
5. 拓展尝试:Meson
在完成 CMake 的探索后,笔者注意到另一个构建配置层工具:Meson。根据 Meson 官方文档关于 backend 的说明,Meson 并不直接执行构建,而是生成某个 backend 所需的构建文件,并且其默认后端是 Ninja (见参考 3)。这与前文认知地图一致:Meson 属于构建配置层,Ninja 属于构建执行层。
笔者参考 Meson 文档,尝试写了一个最小化的 meson.build:
1 | project('stm32_f411_cmake', 'c', default_options : ['c_std=gnu11']) |
与 CMake 的 Toolchain File 类似,Meson 官方文档提供了交叉编译配置说明 (见参考 11)。笔者参考文档尝试编写了一个 arm-cross.txt,在其中定义了 [binaries](如 c = 'arm-none-eabi-gcc')和 [host_machine](如 system = 'none', cpu = 'cortex-m4')。按文档描述,配置时可执行 meson setup build --cross-file arm-cross.txt。
不过,由于本篇重点仍然是构建系统的分层理解,Meson 部分笔者只做了初步尝试,尚未在当前 STM32F411 工程中完成完整的链接、启动、镜像生成验证。后续如果继续深入,需要单独验证 system = 'none' 在当前工具链下的行为、启动文件的加入方式以及 .ld 链接脚本的具体传递形式。因此,本节仅作为认知地图的拓展,而不是完整的工程迁移方案。
6. 总结
通过本篇的探索,笔者对构建系统的理解从前面的“工具列表”逐渐变成了一个分层结构:
| 层次 | 本篇中的对应实践 |
|---|---|
| 编译 / 链接工具链 | arm-none-eabi-gcc、ld、objcopy,前作已手动验证 |
| 构建执行层 | 从 make-all.sh 到 Makefile,再到 Ninja |
| 构建配置层 | 从手写 Makefile 中的配置,到 CMake 的 CMakeLists.txt 与 Toolchain File,再到 Meson 的 meson.build 与 cross file |
如果用一句话概括:前作的 make-all.sh 是把编译命令顺序执行了一遍;Makefile 把这些命令变成了带依赖关系的执行规则;CMake 和 Meson 则进一步把工程配置与执行规则分离出来;Ninja 则是另一种更高效地执行这些规则的工具。
因此,Make、Ninja、CMake、Meson 并不是简单的线性替代关系。它们分别承担了构建流程中的不同职责:Make / Ninja 读取规则,调度执行;CMake / Meson 描述工程,生成规则;GCC / LD / objcopy 真正完成编译、链接和镜像转换。理解这一点后,再回头看 STM32CubeMX 生成的 CMake 工程,很多原本难以理解的配置项也就变得清晰了:它们并不是某种“黑盒魔法”,而是构建配置层对编译工具链、链接脚本、源文件、头文件、宏定义和后处理命令的一次统一组织。
参考
参考
- CMake Overview
- Ninja Build System README
- Meson Build System: Choosing a backend
- GNU Make Manual: Introduction
- GNU Make Manual: Rules
- GCC Online Documentation: Options Controlling the Preprocessor
- CMake Documentation: Cross Compiling Toolchain
- CMake Documentation: CMAKE_
_FLAGS_INIT - Ninja Manual: Philosophy
- CMake Documentation: add_custom_command
- Meson Documentation: Cross compilation
- CMake Documentation: file(GLOB) / file(GLOB_RECURSE)