【一般排查思路】针对银河麒麟高级服务器操作系统磁盘空间已满
1. 本身磁盘空间已满
图 1
如果是磁盘本身空间已满，我们可以借助du工具来排查，比如首先cd / 切换到根目录，然后 du -sh * | sort -rh | head -n 3查看空间占用最大的前3个文件或者目录，这里我们可以看到 /usr、/var、/run目录占用比较大，如图2。
图 2
然后同理，使用 du 工具一层一层看子目录下哪个文件比较大，这里我们可以看到 /var/img3、/var/img1、/var/img4文件比较大以及 /usr/local/src/下面的 img、img1比较大，如图3。
图 3
图 4
如果需要查看当前目录下所有文件以及文件夹的大小，可以执行 du -sh * ，如需排序使用du -sh * | sort -rh，如果只要查看当前目录某个文件大小，可以执行 du -sh 文件名，如图5。
图 5
2.存在未释放的 inode
在linux系统中，想要彻底的删除一个文件，取决于两个“计数器”，这两个计数器一个是磁盘引用的“计数器”（记录了这个文件有几个硬链接），另一个则是内存引用的“计数器”（纪录了这个文件正在被几个进程所调用），当这两个“计数器”全部为0，也就是这个文件没有硬链接，没有任何进程在调用的时候，这个文件才会真正的被删除。
有时候我们看到一种情况，df -h看到磁盘空间满了，但是du -sh查看，并未发现有占用空间大的文件，此时有可能系统中有进程使用了某些文件，但是在有进程使用这些文件的情况下，删除这些文件，则会看到文件虽然删除了，但是空间却没释放。需要结束进程，空间才能释放，这也是很多时候系统空间被沾满，重启了一下系统后又恢复了的原因。
可以使用lsof | grep deleted，最后有deleted标注的就是文件已经删了，但是句柄未释放，空间也未释放的进程，要释放空间，可以将对应的进程杀掉，如图6。
图 6
3.inode满了
文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（Sector）。每个扇区储存512字节（相当于0.5KB）。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八个 sector组成一个 block。
文件数据都储存在"块"中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。每一个文件都有对应的inode，里面包含了与该文件有关的一些信息。
inode爆满情况就较为严重了，程序运维会有问题，会报磁盘无空间 No space left on device，就像下图，查看df发现磁盘空间使用还没到100%，如图7。
图 7
但是如果df -i 发现根分区的inode到达100%的时候，也会报错“No space left on device”，解决方案就是删除这么小文件，如图8。
图 8
4. tmpfs 内存空间已满
/run 目录一般为 tmpfs文件系统，这些数据实际存储的是RAM和交换空间中，/run 目录的作用用于存储系统运行时候的重要的信息，如果他满了可能会导致系统无法启动新的进程，服务无法正常运行或者无法创建新的pid文件，下图，我们可以看到 /run目录使用为100%，此时如果有个人ssh到此服务器，如图9。
图 9
会看到日志里面有 No space left on device的提示，如图10。
图 10
同样，如果我们此时重启服务，比如auditd，会看到服务卡住无法重启，并且使用journalctl -xeu auditd日志里面同样有No space left on device的情况，说明即使根目录没满，/run目录满了后，会有类似磁盘空间已满的提示，如图11，如12。
图 11
图 12
另外，内存整体不够，同样会导致类似的问题，下图为启动时候，内存不够，导致系统启动异常，提示 No space left on device，如图13。
图 13
5.重复挂载
举个例子，假如我 /var/目录原来已经把空间占用满了，此时我们写入日志的时候，会报出来文件系统已满，但是如果我们此时用新的分区重新挂载到 /var/目录下，像下图，就会造成，df -h 看根分区占满了，已经用了48G了，但是通过 du -sh 看根分区下各个文件系统大小，加起来却只有17G，原因是，我用新的设备重新挂载 /var/目录，以至于我df -h算的是挂载之前的 /var/目录大小而不是挂载之后的 /var目录大小，如图14。
图 14
Ongwu博客 版权声明：以上内容未经允许不得转载！授权事宜或对内容有异议或投诉，请联系站长，将尽快回复您，谢谢合作！