不知道你第一次接触嵌入式Linux的时候是不是跟我一样被根文件系统搞得一头雾水。明明内核编译完了、板子也能启动到U-Boot了结果一加载内核就卡在“Kernel panic - not syncing: VFS: Unable to mount root fs”上那一刻最想做的事情就是把电脑砸了。后来才明白Linux系统不是只有内核就行用户空间总得有个“根”而这个根文件系统在嵌入式领域十有八九就是用BusyBox搭起来的。BusyBox在嵌入式Linux圈子里的地位用“瑞士军刀”来形容一点不夸张。它本质上是一个把几百个常用Unix命令压缩进单个可执行文件的程序是嵌入式根文件系统的最核心组件。这篇文章我就从原理层面把BusyBox讲透再手把手带着你从零构建一个能跑起来的根文件系统顺便把NFS挂载、固化到Flash、集成Dropbear这些实战中绕不开的操作一起串一遍。无论你是正在走嵌入式学习路线的新手还是准备面试的求职者又或者是被项目赶着要交付的工程师这篇内容都值得你花二十分钟认真看完。1. BusyBox到底是什么一个可执行文件的“变形记”1.1 单个二进制如何变出几百条命令先看一个最简单的现象。你装完BusyBox之后进入它的shell敲ls能列目录敲cat能读文件敲ps能看进程。但你用file命令去看这些命令对应的可执行文件会惊讶地发现它们全部指向同一个文件/bin/busybox。这不是什么魔法而是利用了Unix里一个非常巧妙的机制——argv[0]。当一个程序被启动时内核会把调用它的路径作为第一个参数传进来。BusyBox在执行入口处拿到这个参数解析出最后的命令名然后去查一张applet表找到匹配项就调用对应的函数实现。举例来说你输入ls内核execve的是/bin/ls这个符号链接最终加载的还是busybox这个程序。busybox一看argv[0]里是“ls”就从注册表里找到ls的实现函数把控制权交过去。所以你会发现BusyBox里所有命令都长一个样主函数是一个巨大的switch-case分发器。这也是为什么有人把它叫作“一个二进制的瑞士军刀”——一个程序里塞进了几百把不同的工具。1.2 为什么嵌入式必须要它而不能用桌面版coreutils有人可能会问为什么不能直接把PC上的GNU coreutils放进嵌入式系统里我用一个很直观的数据回答你。一套完整的coreutils命令算上bash、util-linux、procps等组件装进系统之后轻松占掉几十MB的Flash空间RAM运行时的开销同样不小。而一个静态编译的BusyBox二进制通常在几百KB到1MB左右连命令行带内部命令全齐活。在我一个实际的ARM Cortex-A7项目里整个根文件系统最终压缩成squashfs镜像之后只有2.1MB里面除了内核模块还带着完整的总线工具箱。这个差异在动辄只有16MB/32MB Flash的嵌入式设备上是决定性的。除了体积BusyBox对运行环境的容忍度也高。很多嵌入式板子第一版启动的时候设备节点、挂载点都不全GNU工具链碰到这种情况直接罢工。BusyBox里有个说法叫“toybox-like的简化实现”它内部很多命令都做了容错比如mdev在没有完整udev规则的环境下也能自动扫描设备。加上它默认把所有功能编译成一个静态二进制不需要依赖一堆动态库这对调试初期的板子来说友好到不行。1.3 我遇到的BusyBox版本与shell问题热搜词里老出现busybox v1.30.1 built-in shell (ash)这句话其实就藏着一个重要知识点。BusyBox自带shell叫ash另一个变种是hush这个shell是在编译时集成进去的。所以你打开串口终端敲命令时并不依赖系统的/bin/bash而是BusyBox内部实现的一个精简shell。它兼容大部分POSIX语法支持管道、重定向、变量、函数但不支持bash的数组、进程替换这些高级特性。因此写嵌入式init脚本的时候千万别拿桌面bash的写法往上套很多坑就是这么来的。版本方面busybox v1.22.1(kylin1:1.22.0)这种版本号说明Linux发行版会基于特定版本做定制打包。实际嵌入式开发中不用太追新我推荐稳定路线如果做老平台维护用1.22~1.29新项目直接用1.30以上的版本因为新版对mdev、网络配置、SELinux支持都更完善。用的时候养成一个习惯编译完先跑一遍busybox --help看看当前版本里哪些applet被启用因为很多命令是可以在menuconfig里单独关掉的版本相同的两个二进制功能也可能差很多。2. 源码到手三步编译出你的第一个BusyBox2.1 下载、解压与交叉编译工具链准备编译BusyBox有两个前提一是源码二是交叉编译工具链。源码直接上busybox.net下载最新稳定版或者用git克隆官方仓库也行。解压之后你会发现它的构建系统风格非常“轻量”一个顶层Makefile一个.config配置文件跟内核的构建方式神似。工具链的选择取决于目标架构。ARM平台用arm-linux-gnueabihf-gccAArch64用aarch64-linux-gnu-gccMIPS平台用mips-linux-gnu-gcc。这里有个经验刚开始别自己从零编译工具链直接用现成的Buildroot会帮你带一个或者下载Linaro/Linux交叉编译工具链开箱即用。我早期傻乎乎去折腾crosstool-ng浪费了一整天后来发现直接下载工具链五分钟搞定。2.2 配置裁剪静态编译还是动态编译这是个问题进入源码目录之后第一步是生成默认配置make defconfig。这个配置会启用绝大部分常用applet适合做通用系统。如果你要深度裁剪就执行make menuconfig它会弹出一个类似内核配置的图形界面。关键选项我列一下Settings - Build static binary (no shared libs)是否静态编译。静态编译出来的busybox不依赖任何.so文件拷贝到根文件系统就能跑但体积会大一点动态编译体积小但你在构建rootfs时得保证/lib目录下动态库完整否则启动时等着看“cant load library”吧。开发调试阶段我强烈建议先用静态编译最大限度减少变量。Settings - vi-style line editing commands如果你习惯vi键位就开。Shells - Choose which shell is cloned默认ash就行。Linux Module Utilities - Simplify modutils如果你的内核需要加载模块确保把modprobe相关的applet编译进去。配置完成保存之后执行make -j$(nproc)开始编译。整个编译通常在一分钟以内完成——对比编译一个内核动辄几分钟BusyBox的编译速度快得让人感动。编出来的二进制就在源码目录下叫busybox你可以先file busybox看看它是不是对应架构的程序再决定下一步。2.3 安装命令集合到指定目录BusyBox编译完之后需要把工具链里的符号链接都生成到目录里。在BusyBox源码目录执行make install CONFIG_PREFIX/path/to/rootfs这条命令会把busybox拷贝到/path/to/rootfs/bin/busybox然后在bin、sbin、usr/bin、usr/sbin目录下生成一堆指向busybox的符号链接。这些软链数量多且齐全ls、cat、mount、ifconfig、poweroff等全在install这一步就自动生成好了。注意这里的CONFIG_PREFIX是安装的根目录不是板子的最终根目录。你现在的/path/to/rootfs就像一个临时“沙箱”后面所有构建rootfs的步骤都在这个目录里进行等全部搞定再打包烧录到板子上。3. 根文件系统构建实战从零创建init到可登录shell3.1 建立根文件系统目录结构这一步是纯手工活。你可以用mkdir -p一次性创建目录。一个最小可用的rootfs至少要包含下面的目录bin sbin usr/bin usr/sbin usr/lib lib etc dev proc sys tmp var home root为什么需要这些目录bin和sbin是命令所在地lib放动态库etc放配置文件dev是设备文件系统的挂载点proc和sys是内核虚拟文件系统的挂载点tmp和var是运行时数据home和root是用户目录。注意usr/bin和bin之间、usr/lib和lib之间经常有符号链接关联有些系统干脆把usr目录跟根目录合并这都没问题。关键是心智上要清楚内核启动后首先挂载根文件系统然后才会处理dev、proc、sys这些东西。目录权限也要注意。tmp目录建议设为1777防止普通用户乱删别人的临时文件root目录建议700其他目录用默认755就行。用chmod手动设置一下别漏掉。3.2 配置init进程与inittabLinux内核启动到最后会尝试执行根文件系统里的/init程序这个程序通常是个脚本或者指向busybox的符号链接。最简单的方式是把init指向busybox由busybox根据/etc/inittab来决定如何初始化系统。我通常这样配置/etc/inittab::sysinit:/etc/init.d/rcS ttyS0::respawn:/sbin/getty -L ttyS0 115200 vt100 ::shutdown:/bin/umount -a -r第一行意思是系统初始化时先执行rcS脚本这里面挂载文件系统、配置网络、启动服务。第二行是为串口终端ttyS0启动一个getty登录进程这样你通过串口连接板子时就能看到登录提示输完用户名密码进入shell。第三行是关机时要做的清理动作。如果你板子上的串口设备名不是ttyS0比如有些ARM板是ttyAMA0或ttymxc0记得改过来。这个不匹配是最常见的串口无输出原因之一我当年在i.MX6ULL板子上就因为它浪费了一个晚上。3.3 /etc/init.d/rcS脚本开机启动的灵魂rcS是整个系统初始化脚本的入口。一个典型的rcS长这样#!/bin/sh mount -t proc none /proc mount -t sysfs none /sys mount -t tmpfs none /tmp mkdir -p /dev/pts mount -t devpts none /dev/pts echo /sbin/mdev /proc/sys/kernel/hotplug mdev -s ifconfig eth0 192.168.1.100 netmask 255.255.255.0 route add default gw 192.168.1.1第一件大事是挂载proc和sysfs。这两个是虚拟文件系统proc用来暴露进程信息sysfs用来暴露设备信息几乎所有的用户空间工具都依赖它们。第二件大事是mdev这是BusyBox提供的设备管理工具相当于简化版udev。mdev -s会根据sysfs里的信息在/dev下自动创建设备节点省去手动mknod的麻烦还能配合hotplug在设备插入时动态生成节点。第三件是配置网络把板子的IP地址、网关设置好方便后续NFS挂载、SSH连接调试。提示脚本第一行#!/bin/sh必须指向真实存在的解释器而sh这个解释器在BusyBox系统里就是busybox的软链。所以如果busybox没放好整个rcS连第一行都执行不了。写完rcS之后记得chmod x /etc/init.d/rcS。权限不执行脚本等于没写。3.4 动态库依赖与“No such file or directory”之谜如果你在第二步选了动态编译busybox那么“拷贝库”这活儿就躲不掉了。怎么判断需要哪些库在开发宿主机上执行${CROSS_COMPILE}readelf -d busybox | grep NEEDED输出会列出busybox依赖的共享库比如libc.so.6、libm.so.6。然后从交叉编译工具链的sysroot中把对应的.so文件拷贝到rootfs的/lib目录。拷的时候小心这些库本身可能是符号链接需要把链接和真实文件一起拷全。一个通用的做法${CROSS_COMPILE}objdump -p busybox | grep NEEDED然后再用cp -a递归保留链接结构。如果拷贝不完整你在板子上执行/bin/busybox时会看到一句让人抓狂的提示sh: /bin/busybox: not found。但这根本不是busybox不存在而是它的动态链接器找不到或者某个库缺失。排查方法就是readelf -l busybox看它的interpreter路径再确认这个文件在rootfs里是否存在。这个坑几乎每个从零做rootfs的人都会踩一遍记住“not found”不等于“文件不存在”这句话能帮你省下很多时间。4. 让板子活过来NFS挂载和固化到Flash4.1 开发阶段为何要NFS挂载根文件系统在做嵌入式开发的早起阶段你的rootfs一天可能要改几十次。如果你每次都把rootfs打包烧进Flash里改一行脚本就要烧一次Flash等待时间长不说Flash还有擦写寿命问题。NFS网络文件系统挂载就是为这个场景设计的把编译好的rootfs放在开发主机上通过网络共享给板子板子的内核启动时不从Flash读根文件系统而是通过网卡把远程目录当作根文件系统挂载。这带来的便利是革命性的——板子上写文件改的就是开发主机上的文件主机上改文件板子立刻就能用上。开发阶段我用NFS挂载的频率比烧Flash高出几十倍。等你调试稳定了再把rootfs固化到Flash里交付。4.2 U-Boot与内核参数配置NFS挂载需要三个条件板子和主机网络通、NFS服务端配置好、内核的启动参数正确。主机上安装nfs-kernel-server在/etc/exports里加一行/path/to/rootfs 192.168.1.0/24(rw,sync,no_subtree_check,no_root_squash)然后exportfs -ra生效。注意no_root_squash选项很重要它允许板子的root用户对共享目录拥有完整权限否则板子上创建的设备节点和修改的配置可能写不进去运行各种服务也会因为权限问题报错。板子端的动作在U-Boot里设置bootargs环境变量。最常见的写法setenv bootargs consolettyS0,115200 root/dev/nfs nfsroot192.168.1.100:/path/to/rootfs,v3,tcp ip192.168.1.101:192.168.1.100:192.168.1.1:255.255.255.0::eth0:off saveenv这个命令里的参数信息量很大ip后面依次是板子IP、服务器IP、网关、掩码、主机名、网卡设备名和是否自动配置的开关。格式错一个NFS就挂不上。我在上一家公司调试新板卡的时候光这个参数就调了半个多小时最后发现是ip参数漏了服务器的IP段导致NFS服务器地址解析失败。如果你用NFS挂载卡住先在U-Boot里ping 服务器IP网络不通就先把网络搞定不要一头扎进NFS本身去查。4.3 固化到Flashsquashfs、jffs2还是ext4等NFS调试完毕固化工作就是把rootfs打包成镜像烧进Flash。选什么文件系统类型取决于你的存储介质和需求文件系统适合场景特点squashfs只读根文件系统压缩率高适合容量小的NOR/NAND支持开机压缩解压jffs2NAND Flash老设备专门为Flash设计支持磨损均衡但挂载时扫描慢ubifs大容量NAND/eMMC基于UBI层支持动态磨损均衡成熟可靠ext4eMMC/SD卡通用性强便于调试和维护但需要块设备驱动我的经验是产品稳定后优先用squashfs打包只读的rootfs把/etc下需要在运行时修改的目录单独用tmpfs或ubifs挂载既兼顾稳定性又不丢失配置。开发板则直接ext4放到SD卡上怎么折腾都方便。制作squashfs镜像mksquashfs /path/to/rootfs rootfs.squashfs -comp xz烧录到Flash分区之后内核启动参数改成root/dev/mtdblock3 rootfstypesquashfs之类具体取决于你的分区布局。这里要注意如果你用NAND Flash且内核没启用mtdblock设备那即使rootfs做了也没法直接挂载得先把MTD子系统和UBI/分区配置好。这块内容展开讲又是一个长话题等后面专门写一篇NAND的再细说。5. 进阶玩法让BusyBox系统“五脏俱全”5.1 集成Dropbear给板子加一个轻量SSH服务嵌入式系统上跑OpenSSH太重了。OpenSSH依赖的库多、编译大在只有几MB Flash的板子上很难铺开。替代方案就是Dropbear一个专门为嵌入式设计的轻量SSH服务器和客户端。BusyBox系统配上Dropbear之后你在电脑上就能ssh root板子IP直接登录比串口舒服多了。构建Dropbear的过程不复杂./configure --prefix/usr --hostarm-linux-gnueabihf --disable-zlib make -j4 make install DESTDIR/path/to/rootfs安装完之后在rootfs的/etc/init.d/rcS里加上启动命令mkdir -p /var/run/dropbear /usr/sbin/dropbear -r /etc/dropbear/dropbear_rsa_host_key -p 22如果想开机自动生成host key可以在脚本里先判断文件是否存在再生成避免每次启动都换key导致客户端报警告。使用的时候注意把--disable-zlib关掉可以让二进制更小代价是SSH传输不压缩对大多数内网调试场景来说完全够用。关于密码登录dropbear默认读取/etc/passwd和/etc/shadow所以你还得在rootfs里准备这两个文件并设置root密码。如果你喜欢用密钥登录把公钥拷到/root/.ssh/authorized_keys里就行。5.2 串口里的“测速器”用BusyBox命令做U盘读写测试热搜词里有个“嵌入式Linux U盘测速方案”,这个我在实际项目里做过。板子上插U盘挂载之后用BusyBox自带的dd和time就能做粗粒度的读写测速mount /dev/sda1 /mnt sync time dd if/dev/zero of/mnt/testfile bs1M count100 sync time dd if/mnt/testfile of/dev/null bs1M count100sync的作用是把写缓存强制刷到物理设备上不加它测出来的写速度是内存缓存的速度会严重虚高。这在前面热词里提到的“sync、vfs”就是这里的关键。读测试前也做一次sync确保数据落盘。测得的结果单位是秒换算一下就能得出MB/s。这个方法虽然不如专业的iozone/blktest精细但在现场应急排查时足够用了。如果你要更专业一点的方案可以在BusyBox里加入fio或者bonnie但这两个工具的依赖较多静态编译难度稍高。我一般只在需要出正式报告时才在Buildroot里加入它们日常联调用dd方案就够了。5.3 集成AWTK做GUI嵌入式也有漂亮界面热搜词里出现的“awtk 嵌入式linux”是一个值得说的方向。AWTK是ZLG开源的一套嵌入式GUI框架支持在Linux Framebuffer上直接渲染也能在多个嵌入式平台上运行。它跟BusyBox系统配合得很好BusyBox负责后台基础环境和启动流程AWTK作为开机后启动的第一个应用进程常驻前台设备就直接变成了一个带触摸屏的交互终端。在BusyBox系统上跑AWTK要注意几个点第一触摸屏设备节点需要mdev正确生成常见的输入设备是/dev/input/eventXAWTK通过读取这个节点拿触摸数据第二如果屏幕是RGB接口或LVDS接口还要在内核启动参数里配置好显示分辨率时序第三AWTK需要framebuffer设备/dev/fb0如果系统里没有这个节点多半是内核的帧缓冲驱动没配置好。AWTK本身自带Linux运行库交叉编译后放进rootfs就行不依赖桌面环境。这一套组合非常适合做工业HMI、仪表盘、手持设备界面我最近一个充电桩项目就是这么干的整个系统的启动时间优化后7秒内进到主界面。5.4 从零到镜像一个完整嵌入式Linux系统的构建路径说了这么多站在顶层看一下整个流程。一个完整的嵌入式Linux系统镜像可以从四个独立部分理解bootloaderU-Boot等负责初始化硬件、加载内核内核zImage/Image负责管理硬件资源和进程调度根文件系统rootfs提供用户空间的命令和库应用层App、GUI、脚本实现具体产品功能BusyBox主要承担第三块但它与另外三者都有交互U-Boot的bootargs决定了根文件系统从哪里挂载内核的设备驱动决定了rootfs挂在什么设备上应用层则完全运行在rootfs提供的环境中。所以你说BusyBox是“瑞士军刀”其实还谦虚了它更是整个系统的地基之一。构建一个完整镜像的标准动作是写好app代码之后用Buildroot或者Yocto把工具链、rootfs、内核打包成可烧录镜像一条命令直接生成sdcard.img。如果你的产品相对简单完全可以只用BusyBox手搓rootfs像我前面步骤那样做一个精简、可控、不臃肿的系统。6. 新手的拦路虎常见报错与排查技巧实录6.1 Kernel panic - not syncing: VFS: Unable to mount root fs这是新手遇到最多的内核恐慌。看到这句话先不要慌它表达的意思是内核挂了根文件系统但找不到有效根。排查步骤按顺序来确认内核的启动参数里root指向的设备是否存在。检查U-Boot的bootargs看设备名和实际分区是否匹配。确认该设备驱动在内核里是否编入。比如你用SD卡启动但内核没配MMC/SD驱动mount必然失败。确认根文件系统类型。如果你rootfs是squashfs但内核没启用squashfs支持同样挂不上。如果用的是initramfs确认initramfs打包正确内核和initramfs是同一份配置。最简单的定位方法是在U-Boot启动时停住敲printenv看bootargs再用ls mmc 0:1之类的命令看一下有什么用。我之前在一个板子上排查VFS问题查了一下午最后发现是bootargs里root写成了/dev/mmcblk0p1但内核的SD卡设备名是/dev/mmcblk1p1差一个数字全线崩溃。6.2 cant access tty; job control turned off启动后看到这句话一般不是致命错误但很影响体验——它说明内核没有为shell分配一个可用的控制终端。原因几乎都是inittab里tty终端设备名不对或者该设备节点缺失。比如板子串口设备是ttyS0你在inittab里写成了ttyS1或者/dev下没有对应的serial设备节点。用mdev -s重新扫一遍设备节点再对照串口驱动实际注册的名字修改inittab问题基本能解。另外也检查一下串口驱动是否在内核里启动了CONFIG_SERIAL_CORE_CONSOLE否则调试串口压根没有console注册。6.3 Permission denied和Operation not permitted如果启动阶段用户空间程序报权限错误先别怀疑chmod优先看是不是SELinux或AppArmor在“捣乱”。BusyBox老版本对SELinux支持不佳为了省事内核命令行加selinux0或apparmor0先关掉。另一个常见原因是rootfs挂载时带了noexec选项导致脚本无法执行检查mount参数和fstab配置。还有一种情况是设备节点权限不对比如/dev/null必须是c 1 3且权限666少了就会有一堆程序报错。6.4 排查工具箱一份我常用的BusyBox命令清单最后把我日常在板子上排查问题的几个命令罗列一下都是BusyBox自带的dmesg | tail看内核最后输出的几行日志启动卡在哪基本一目了然。cat /proc/mounts看当前挂载情况确认rootfs、proc、sysfs是否挂载正确。ls -l /dev检查设备节点是否齐全。route -n和ifconfig确认网络配置是否生效。free看内存使用排查OOM问题。top看哪个进程吃满了CPUBusyBox的top够用。mount -o remount,rw /紧急情况下把只读根文件系统重新挂载为可读写方便临时修文件。这些命令看着简单但是在资源受限的板子上每一个都能救命。而且你会发现日常桌面Linux用惯了的人一上板子就容易蒙因为在BusyBox环境里很多命令的参数格式比GNU版精简得多ls没有--colorautops没有-ef选项全靠vw和- aux这些传统BSD风格。这需要在使用中慢慢适应但用熟悉之后你会很享受这种“一切从简”的清爽感。根据我个人经验从拿到一块空板子到跑起一个带shell、带网络、带SSH的完整系统如果按这个流程走动作快的话一天内就能完成。遇到问题不要慌按顺序排查启动参数、设备节点、文件系统类型和库依赖百分之九十的坑都出在这几处。后续如果想继续深入建议你试一试把AWTK加上做个图形界面再尝试用Buildroot或Yocto把整个流程自动化等把这些链路都玩顺了嵌入式Linux对你来说就不再是玄学而是一套像搭积木一样清晰、可控的技术栈。
嵌入式Linux根文件系统实战：从BusyBox原理到NFS挂载与固化
不知道你第一次接触嵌入式Linux的时候是不是跟我一样被根文件系统搞得一头雾水。明明内核编译完了、板子也能启动到U-Boot了结果一加载内核就卡在“Kernel panic - not syncing: VFS: Unable to mount root fs”上那一刻最想做的事情就是把电脑砸了。后来才明白Linux系统不是只有内核就行用户空间总得有个“根”而这个根文件系统在嵌入式领域十有八九就是用BusyBox搭起来的。BusyBox在嵌入式Linux圈子里的地位用“瑞士军刀”来形容一点不夸张。它本质上是一个把几百个常用Unix命令压缩进单个可执行文件的程序是嵌入式根文件系统的最核心组件。这篇文章我就从原理层面把BusyBox讲透再手把手带着你从零构建一个能跑起来的根文件系统顺便把NFS挂载、固化到Flash、集成Dropbear这些实战中绕不开的操作一起串一遍。无论你是正在走嵌入式学习路线的新手还是准备面试的求职者又或者是被项目赶着要交付的工程师这篇内容都值得你花二十分钟认真看完。1. BusyBox到底是什么一个可执行文件的“变形记”1.1 单个二进制如何变出几百条命令先看一个最简单的现象。你装完BusyBox之后进入它的shell敲ls能列目录敲cat能读文件敲ps能看进程。但你用file命令去看这些命令对应的可执行文件会惊讶地发现它们全部指向同一个文件/bin/busybox。这不是什么魔法而是利用了Unix里一个非常巧妙的机制——argv[0]。当一个程序被启动时内核会把调用它的路径作为第一个参数传进来。BusyBox在执行入口处拿到这个参数解析出最后的命令名然后去查一张applet表找到匹配项就调用对应的函数实现。举例来说你输入ls内核execve的是/bin/ls这个符号链接最终加载的还是busybox这个程序。busybox一看argv[0]里是“ls”就从注册表里找到ls的实现函数把控制权交过去。所以你会发现BusyBox里所有命令都长一个样主函数是一个巨大的switch-case分发器。这也是为什么有人把它叫作“一个二进制的瑞士军刀”——一个程序里塞进了几百把不同的工具。1.2 为什么嵌入式必须要它而不能用桌面版coreutils有人可能会问为什么不能直接把PC上的GNU coreutils放进嵌入式系统里我用一个很直观的数据回答你。一套完整的coreutils命令算上bash、util-linux、procps等组件装进系统之后轻松占掉几十MB的Flash空间RAM运行时的开销同样不小。而一个静态编译的BusyBox二进制通常在几百KB到1MB左右连命令行带内部命令全齐活。在我一个实际的ARM Cortex-A7项目里整个根文件系统最终压缩成squashfs镜像之后只有2.1MB里面除了内核模块还带着完整的总线工具箱。这个差异在动辄只有16MB/32MB Flash的嵌入式设备上是决定性的。除了体积BusyBox对运行环境的容忍度也高。很多嵌入式板子第一版启动的时候设备节点、挂载点都不全GNU工具链碰到这种情况直接罢工。BusyBox里有个说法叫“toybox-like的简化实现”它内部很多命令都做了容错比如mdev在没有完整udev规则的环境下也能自动扫描设备。加上它默认把所有功能编译成一个静态二进制不需要依赖一堆动态库这对调试初期的板子来说友好到不行。1.3 我遇到的BusyBox版本与shell问题热搜词里老出现busybox v1.30.1 built-in shell (ash)这句话其实就藏着一个重要知识点。BusyBox自带shell叫ash另一个变种是hush这个shell是在编译时集成进去的。所以你打开串口终端敲命令时并不依赖系统的/bin/bash而是BusyBox内部实现的一个精简shell。它兼容大部分POSIX语法支持管道、重定向、变量、函数但不支持bash的数组、进程替换这些高级特性。因此写嵌入式init脚本的时候千万别拿桌面bash的写法往上套很多坑就是这么来的。版本方面busybox v1.22.1(kylin1:1.22.0)这种版本号说明Linux发行版会基于特定版本做定制打包。实际嵌入式开发中不用太追新我推荐稳定路线如果做老平台维护用1.22~1.29新项目直接用1.30以上的版本因为新版对mdev、网络配置、SELinux支持都更完善。用的时候养成一个习惯编译完先跑一遍busybox --help看看当前版本里哪些applet被启用因为很多命令是可以在menuconfig里单独关掉的版本相同的两个二进制功能也可能差很多。2. 源码到手三步编译出你的第一个BusyBox2.1 下载、解压与交叉编译工具链准备编译BusyBox有两个前提一是源码二是交叉编译工具链。源码直接上busybox.net下载最新稳定版或者用git克隆官方仓库也行。解压之后你会发现它的构建系统风格非常“轻量”一个顶层Makefile一个.config配置文件跟内核的构建方式神似。工具链的选择取决于目标架构。ARM平台用arm-linux-gnueabihf-gccAArch64用aarch64-linux-gnu-gccMIPS平台用mips-linux-gnu-gcc。这里有个经验刚开始别自己从零编译工具链直接用现成的Buildroot会帮你带一个或者下载Linaro/Linux交叉编译工具链开箱即用。我早期傻乎乎去折腾crosstool-ng浪费了一整天后来发现直接下载工具链五分钟搞定。2.2 配置裁剪静态编译还是动态编译这是个问题进入源码目录之后第一步是生成默认配置make defconfig。这个配置会启用绝大部分常用applet适合做通用系统。如果你要深度裁剪就执行make menuconfig它会弹出一个类似内核配置的图形界面。关键选项我列一下Settings - Build static binary (no shared libs)是否静态编译。静态编译出来的busybox不依赖任何.so文件拷贝到根文件系统就能跑但体积会大一点动态编译体积小但你在构建rootfs时得保证/lib目录下动态库完整否则启动时等着看“cant load library”吧。开发调试阶段我强烈建议先用静态编译最大限度减少变量。Settings - vi-style line editing commands如果你习惯vi键位就开。Shells - Choose which shell is cloned默认ash就行。Linux Module Utilities - Simplify modutils如果你的内核需要加载模块确保把modprobe相关的applet编译进去。配置完成保存之后执行make -j$(nproc)开始编译。整个编译通常在一分钟以内完成——对比编译一个内核动辄几分钟BusyBox的编译速度快得让人感动。编出来的二进制就在源码目录下叫busybox你可以先file busybox看看它是不是对应架构的程序再决定下一步。2.3 安装命令集合到指定目录BusyBox编译完之后需要把工具链里的符号链接都生成到目录里。在BusyBox源码目录执行make install CONFIG_PREFIX/path/to/rootfs这条命令会把busybox拷贝到/path/to/rootfs/bin/busybox然后在bin、sbin、usr/bin、usr/sbin目录下生成一堆指向busybox的符号链接。这些软链数量多且齐全ls、cat、mount、ifconfig、poweroff等全在install这一步就自动生成好了。注意这里的CONFIG_PREFIX是安装的根目录不是板子的最终根目录。你现在的/path/to/rootfs就像一个临时“沙箱”后面所有构建rootfs的步骤都在这个目录里进行等全部搞定再打包烧录到板子上。3. 根文件系统构建实战从零创建init到可登录shell3.1 建立根文件系统目录结构这一步是纯手工活。你可以用mkdir -p一次性创建目录。一个最小可用的rootfs至少要包含下面的目录bin sbin usr/bin usr/sbin usr/lib lib etc dev proc sys tmp var home root为什么需要这些目录bin和sbin是命令所在地lib放动态库etc放配置文件dev是设备文件系统的挂载点proc和sys是内核虚拟文件系统的挂载点tmp和var是运行时数据home和root是用户目录。注意usr/bin和bin之间、usr/lib和lib之间经常有符号链接关联有些系统干脆把usr目录跟根目录合并这都没问题。关键是心智上要清楚内核启动后首先挂载根文件系统然后才会处理dev、proc、sys这些东西。目录权限也要注意。tmp目录建议设为1777防止普通用户乱删别人的临时文件root目录建议700其他目录用默认755就行。用chmod手动设置一下别漏掉。3.2 配置init进程与inittabLinux内核启动到最后会尝试执行根文件系统里的/init程序这个程序通常是个脚本或者指向busybox的符号链接。最简单的方式是把init指向busybox由busybox根据/etc/inittab来决定如何初始化系统。我通常这样配置/etc/inittab::sysinit:/etc/init.d/rcS ttyS0::respawn:/sbin/getty -L ttyS0 115200 vt100 ::shutdown:/bin/umount -a -r第一行意思是系统初始化时先执行rcS脚本这里面挂载文件系统、配置网络、启动服务。第二行是为串口终端ttyS0启动一个getty登录进程这样你通过串口连接板子时就能看到登录提示输完用户名密码进入shell。第三行是关机时要做的清理动作。如果你板子上的串口设备名不是ttyS0比如有些ARM板是ttyAMA0或ttymxc0记得改过来。这个不匹配是最常见的串口无输出原因之一我当年在i.MX6ULL板子上就因为它浪费了一个晚上。3.3 /etc/init.d/rcS脚本开机启动的灵魂rcS是整个系统初始化脚本的入口。一个典型的rcS长这样#!/bin/sh mount -t proc none /proc mount -t sysfs none /sys mount -t tmpfs none /tmp mkdir -p /dev/pts mount -t devpts none /dev/pts echo /sbin/mdev /proc/sys/kernel/hotplug mdev -s ifconfig eth0 192.168.1.100 netmask 255.255.255.0 route add default gw 192.168.1.1第一件大事是挂载proc和sysfs。这两个是虚拟文件系统proc用来暴露进程信息sysfs用来暴露设备信息几乎所有的用户空间工具都依赖它们。第二件大事是mdev这是BusyBox提供的设备管理工具相当于简化版udev。mdev -s会根据sysfs里的信息在/dev下自动创建设备节点省去手动mknod的麻烦还能配合hotplug在设备插入时动态生成节点。第三件是配置网络把板子的IP地址、网关设置好方便后续NFS挂载、SSH连接调试。提示脚本第一行#!/bin/sh必须指向真实存在的解释器而sh这个解释器在BusyBox系统里就是busybox的软链。所以如果busybox没放好整个rcS连第一行都执行不了。写完rcS之后记得chmod x /etc/init.d/rcS。权限不执行脚本等于没写。3.4 动态库依赖与“No such file or directory”之谜如果你在第二步选了动态编译busybox那么“拷贝库”这活儿就躲不掉了。怎么判断需要哪些库在开发宿主机上执行${CROSS_COMPILE}readelf -d busybox | grep NEEDED输出会列出busybox依赖的共享库比如libc.so.6、libm.so.6。然后从交叉编译工具链的sysroot中把对应的.so文件拷贝到rootfs的/lib目录。拷的时候小心这些库本身可能是符号链接需要把链接和真实文件一起拷全。一个通用的做法${CROSS_COMPILE}objdump -p busybox | grep NEEDED然后再用cp -a递归保留链接结构。如果拷贝不完整你在板子上执行/bin/busybox时会看到一句让人抓狂的提示sh: /bin/busybox: not found。但这根本不是busybox不存在而是它的动态链接器找不到或者某个库缺失。排查方法就是readelf -l busybox看它的interpreter路径再确认这个文件在rootfs里是否存在。这个坑几乎每个从零做rootfs的人都会踩一遍记住“not found”不等于“文件不存在”这句话能帮你省下很多时间。4. 让板子活过来NFS挂载和固化到Flash4.1 开发阶段为何要NFS挂载根文件系统在做嵌入式开发的早起阶段你的rootfs一天可能要改几十次。如果你每次都把rootfs打包烧进Flash里改一行脚本就要烧一次Flash等待时间长不说Flash还有擦写寿命问题。NFS网络文件系统挂载就是为这个场景设计的把编译好的rootfs放在开发主机上通过网络共享给板子板子的内核启动时不从Flash读根文件系统而是通过网卡把远程目录当作根文件系统挂载。这带来的便利是革命性的——板子上写文件改的就是开发主机上的文件主机上改文件板子立刻就能用上。开发阶段我用NFS挂载的频率比烧Flash高出几十倍。等你调试稳定了再把rootfs固化到Flash里交付。4.2 U-Boot与内核参数配置NFS挂载需要三个条件板子和主机网络通、NFS服务端配置好、内核的启动参数正确。主机上安装nfs-kernel-server在/etc/exports里加一行/path/to/rootfs 192.168.1.0/24(rw,sync,no_subtree_check,no_root_squash)然后exportfs -ra生效。注意no_root_squash选项很重要它允许板子的root用户对共享目录拥有完整权限否则板子上创建的设备节点和修改的配置可能写不进去运行各种服务也会因为权限问题报错。板子端的动作在U-Boot里设置bootargs环境变量。最常见的写法setenv bootargs consolettyS0,115200 root/dev/nfs nfsroot192.168.1.100:/path/to/rootfs,v3,tcp ip192.168.1.101:192.168.1.100:192.168.1.1:255.255.255.0::eth0:off saveenv这个命令里的参数信息量很大ip后面依次是板子IP、服务器IP、网关、掩码、主机名、网卡设备名和是否自动配置的开关。格式错一个NFS就挂不上。我在上一家公司调试新板卡的时候光这个参数就调了半个多小时最后发现是ip参数漏了服务器的IP段导致NFS服务器地址解析失败。如果你用NFS挂载卡住先在U-Boot里ping 服务器IP网络不通就先把网络搞定不要一头扎进NFS本身去查。4.3 固化到Flashsquashfs、jffs2还是ext4等NFS调试完毕固化工作就是把rootfs打包成镜像烧进Flash。选什么文件系统类型取决于你的存储介质和需求文件系统适合场景特点squashfs只读根文件系统压缩率高适合容量小的NOR/NAND支持开机压缩解压jffs2NAND Flash老设备专门为Flash设计支持磨损均衡但挂载时扫描慢ubifs大容量NAND/eMMC基于UBI层支持动态磨损均衡成熟可靠ext4eMMC/SD卡通用性强便于调试和维护但需要块设备驱动我的经验是产品稳定后优先用squashfs打包只读的rootfs把/etc下需要在运行时修改的目录单独用tmpfs或ubifs挂载既兼顾稳定性又不丢失配置。开发板则直接ext4放到SD卡上怎么折腾都方便。制作squashfs镜像mksquashfs /path/to/rootfs rootfs.squashfs -comp xz烧录到Flash分区之后内核启动参数改成root/dev/mtdblock3 rootfstypesquashfs之类具体取决于你的分区布局。这里要注意如果你用NAND Flash且内核没启用mtdblock设备那即使rootfs做了也没法直接挂载得先把MTD子系统和UBI/分区配置好。这块内容展开讲又是一个长话题等后面专门写一篇NAND的再细说。5. 进阶玩法让BusyBox系统“五脏俱全”5.1 集成Dropbear给板子加一个轻量SSH服务嵌入式系统上跑OpenSSH太重了。OpenSSH依赖的库多、编译大在只有几MB Flash的板子上很难铺开。替代方案就是Dropbear一个专门为嵌入式设计的轻量SSH服务器和客户端。BusyBox系统配上Dropbear之后你在电脑上就能ssh root板子IP直接登录比串口舒服多了。构建Dropbear的过程不复杂./configure --prefix/usr --hostarm-linux-gnueabihf --disable-zlib make -j4 make install DESTDIR/path/to/rootfs安装完之后在rootfs的/etc/init.d/rcS里加上启动命令mkdir -p /var/run/dropbear /usr/sbin/dropbear -r /etc/dropbear/dropbear_rsa_host_key -p 22如果想开机自动生成host key可以在脚本里先判断文件是否存在再生成避免每次启动都换key导致客户端报警告。使用的时候注意把--disable-zlib关掉可以让二进制更小代价是SSH传输不压缩对大多数内网调试场景来说完全够用。关于密码登录dropbear默认读取/etc/passwd和/etc/shadow所以你还得在rootfs里准备这两个文件并设置root密码。如果你喜欢用密钥登录把公钥拷到/root/.ssh/authorized_keys里就行。5.2 串口里的“测速器”用BusyBox命令做U盘读写测试热搜词里有个“嵌入式Linux U盘测速方案”,这个我在实际项目里做过。板子上插U盘挂载之后用BusyBox自带的dd和time就能做粗粒度的读写测速mount /dev/sda1 /mnt sync time dd if/dev/zero of/mnt/testfile bs1M count100 sync time dd if/mnt/testfile of/dev/null bs1M count100sync的作用是把写缓存强制刷到物理设备上不加它测出来的写速度是内存缓存的速度会严重虚高。这在前面热词里提到的“sync、vfs”就是这里的关键。读测试前也做一次sync确保数据落盘。测得的结果单位是秒换算一下就能得出MB/s。这个方法虽然不如专业的iozone/blktest精细但在现场应急排查时足够用了。如果你要更专业一点的方案可以在BusyBox里加入fio或者bonnie但这两个工具的依赖较多静态编译难度稍高。我一般只在需要出正式报告时才在Buildroot里加入它们日常联调用dd方案就够了。5.3 集成AWTK做GUI嵌入式也有漂亮界面热搜词里出现的“awtk 嵌入式linux”是一个值得说的方向。AWTK是ZLG开源的一套嵌入式GUI框架支持在Linux Framebuffer上直接渲染也能在多个嵌入式平台上运行。它跟BusyBox系统配合得很好BusyBox负责后台基础环境和启动流程AWTK作为开机后启动的第一个应用进程常驻前台设备就直接变成了一个带触摸屏的交互终端。在BusyBox系统上跑AWTK要注意几个点第一触摸屏设备节点需要mdev正确生成常见的输入设备是/dev/input/eventXAWTK通过读取这个节点拿触摸数据第二如果屏幕是RGB接口或LVDS接口还要在内核启动参数里配置好显示分辨率时序第三AWTK需要framebuffer设备/dev/fb0如果系统里没有这个节点多半是内核的帧缓冲驱动没配置好。AWTK本身自带Linux运行库交叉编译后放进rootfs就行不依赖桌面环境。这一套组合非常适合做工业HMI、仪表盘、手持设备界面我最近一个充电桩项目就是这么干的整个系统的启动时间优化后7秒内进到主界面。5.4 从零到镜像一个完整嵌入式Linux系统的构建路径说了这么多站在顶层看一下整个流程。一个完整的嵌入式Linux系统镜像可以从四个独立部分理解bootloaderU-Boot等负责初始化硬件、加载内核内核zImage/Image负责管理硬件资源和进程调度根文件系统rootfs提供用户空间的命令和库应用层App、GUI、脚本实现具体产品功能BusyBox主要承担第三块但它与另外三者都有交互U-Boot的bootargs决定了根文件系统从哪里挂载内核的设备驱动决定了rootfs挂在什么设备上应用层则完全运行在rootfs提供的环境中。所以你说BusyBox是“瑞士军刀”其实还谦虚了它更是整个系统的地基之一。构建一个完整镜像的标准动作是写好app代码之后用Buildroot或者Yocto把工具链、rootfs、内核打包成可烧录镜像一条命令直接生成sdcard.img。如果你的产品相对简单完全可以只用BusyBox手搓rootfs像我前面步骤那样做一个精简、可控、不臃肿的系统。6. 新手的拦路虎常见报错与排查技巧实录6.1 Kernel panic - not syncing: VFS: Unable to mount root fs这是新手遇到最多的内核恐慌。看到这句话先不要慌它表达的意思是内核挂了根文件系统但找不到有效根。排查步骤按顺序来确认内核的启动参数里root指向的设备是否存在。检查U-Boot的bootargs看设备名和实际分区是否匹配。确认该设备驱动在内核里是否编入。比如你用SD卡启动但内核没配MMC/SD驱动mount必然失败。确认根文件系统类型。如果你rootfs是squashfs但内核没启用squashfs支持同样挂不上。如果用的是initramfs确认initramfs打包正确内核和initramfs是同一份配置。最简单的定位方法是在U-Boot启动时停住敲printenv看bootargs再用ls mmc 0:1之类的命令看一下有什么用。我之前在一个板子上排查VFS问题查了一下午最后发现是bootargs里root写成了/dev/mmcblk0p1但内核的SD卡设备名是/dev/mmcblk1p1差一个数字全线崩溃。6.2 cant access tty; job control turned off启动后看到这句话一般不是致命错误但很影响体验——它说明内核没有为shell分配一个可用的控制终端。原因几乎都是inittab里tty终端设备名不对或者该设备节点缺失。比如板子串口设备是ttyS0你在inittab里写成了ttyS1或者/dev下没有对应的serial设备节点。用mdev -s重新扫一遍设备节点再对照串口驱动实际注册的名字修改inittab问题基本能解。另外也检查一下串口驱动是否在内核里启动了CONFIG_SERIAL_CORE_CONSOLE否则调试串口压根没有console注册。6.3 Permission denied和Operation not permitted如果启动阶段用户空间程序报权限错误先别怀疑chmod优先看是不是SELinux或AppArmor在“捣乱”。BusyBox老版本对SELinux支持不佳为了省事内核命令行加selinux0或apparmor0先关掉。另一个常见原因是rootfs挂载时带了noexec选项导致脚本无法执行检查mount参数和fstab配置。还有一种情况是设备节点权限不对比如/dev/null必须是c 1 3且权限666少了就会有一堆程序报错。6.4 排查工具箱一份我常用的BusyBox命令清单最后把我日常在板子上排查问题的几个命令罗列一下都是BusyBox自带的dmesg | tail看内核最后输出的几行日志启动卡在哪基本一目了然。cat /proc/mounts看当前挂载情况确认rootfs、proc、sysfs是否挂载正确。ls -l /dev检查设备节点是否齐全。route -n和ifconfig确认网络配置是否生效。free看内存使用排查OOM问题。top看哪个进程吃满了CPUBusyBox的top够用。mount -o remount,rw /紧急情况下把只读根文件系统重新挂载为可读写方便临时修文件。这些命令看着简单但是在资源受限的板子上每一个都能救命。而且你会发现日常桌面Linux用惯了的人一上板子就容易蒙因为在BusyBox环境里很多命令的参数格式比GNU版精简得多ls没有--colorautops没有-ef选项全靠vw和- aux这些传统BSD风格。这需要在使用中慢慢适应但用熟悉之后你会很享受这种“一切从简”的清爽感。根据我个人经验从拿到一块空板子到跑起一个带shell、带网络、带SSH的完整系统如果按这个流程走动作快的话一天内就能完成。遇到问题不要慌按顺序排查启动参数、设备节点、文件系统类型和库依赖百分之九十的坑都出在这几处。后续如果想继续深入建议你试一试把AWTK加上做个图形界面再尝试用Buildroot或Yocto把整个流程自动化等把这些链路都玩顺了嵌入式Linux对你来说就不再是玄学而是一套像搭积木一样清晰、可控的技术栈。
