系统集成

使用lsof处理文件恢复、句柄以及空间释放问题

曾经在生产上遇到过一个df 和 du出现的结果不一致的问题,为了排查到底是哪个进程占用了文件句柄,导致空间未释放,首先在linux上面,一切皆文件,这个问题可以使用lsof这个BT的命令来处理(这个哈还可以来查询文件句柄泄露问题,应用程序的进程未关闭文件句柄)

1.文件句柄以及空间释放问题

  • 注:在生产环境常见的问题就是,有维护人员或者开发同事使用tail命令实时查看日志。然后另外的人使用rm命令删除,这有就好导致磁盘空间不会真正的释放,因为你要删除的文件,还有进程在使用,文件句柄没有释放,即tail

模拟场景1:

你创建一个文件testfile

touch testfile

然后使用tail命令一直查看

tail testfile

这个时候另外一个同事使用rm命令来删除了该文件

rm testfile

正式使用lsof命令排查

如果你知道文件名,那就可以直接使用如下命令

lsof |grep  testfile

但是如果你不知道是哪个文件,或者是很多文件都有这样的情况,那你需要使用如下命令

lsof |grep deleted 注:这个deleted表示该已经删除了的文件,但是文件句柄未释放,这个命令会把所有的未释放文件句柄的进程列出来

注:有些系统你没有配置环境变量的话,直接lsof是会报错没有该命令,你可以直接/usr/bin/lsof 或者是/usr/sbin/lsof,根据你的系统环境自己查看

然后上面命令出来的结果会出来如下结果

root 123 12244 0 14:47 pts/1 01:02:03  tail testfile

然后你可以使用kill 命令来释放文件句柄从而释放空间

kill 123

2. 文件恢复问题

在说明问题之前,先介绍下一些文件的基本概念:

  • 文件实际上是一个指向inode的链接, inode链接包含了文件的所有属性, 比如权限和所有者, 数据块地址(文件存储在磁盘的这些数据块中). 当你删除(rm)一个文件, 实际删除了指向inode的链接, 并没有删除inode的内容. 进程可能还在使用. 只有当inode的所有链接完全移去, 然后这些数据块将可以写入新的数据.
  • proc文件系统可以协助我们恢复数据. 每一个系统上的进程在/proc都有一个目录和自己的名字, 里面包含了一个fd(文件描述符)子目录(进程需要打开文件的所有链接). 如果从文件系统中删除一个文件, 此处还有一个inode的引用:
/proc/进程号/fd/文件描述符
  • 你需要知道打开文件的进程号(pid)和文件描述符(fd). 这些都可以通过lsof工具方便获得, lsof的意思是”list open files, 列出(进程)打开的文件”. 然后你将可以从/proc拷贝出需要恢复的数据.

1.创建一个测试文件并且备份下,方面后续验证

touch testfile
cp testfile testfile.backup.2014

2.查看文件的相关信息

stat testfile

File: 'testfile'
Size: 343545 Bl


辽ICP备14009778号

To Top