Linux怎么排查virsh命令执行卡死由于libvirtd守护进程死锁

千磊酱_7624

千磊酱_7624

2026-10-21

252人浏览

原创

virsh命令卡死大概率是libvirtd内部死锁或资源阻塞,需绕过systemd观察进程行为:先用kill -0验证进程存活,再通过ps查d态qemu进程、strace看系统调用卡点、ausearch查selinux拒绝,最后可gdb分析线程堆栈定位pthread_mutex_lock等停滞点。

linux怎么排查virsh命令执行卡死由于libvirtd守护进程死锁

virsh 命令卡死(Ctrl+C 也无响应),大概率不是网络或权限问题,而是 libvirtd 进程内部死锁或资源阻塞——此时不能只看服务状态,得绕过 systemd 直接观察进程行为。

virsh 卡在 list --all 或 start 时怎么确认是 libvirtd 死锁

执行 virsh list --all 后长时间无输出、不返回 shell、Ctrl+C 无效,同时 systemctl status libvirtd 显示 active (running),这说明服务“活着”,但已无法响应新请求。这不是配置错误,而是守护进程内部线程卡在某个系统调用上(比如等待 socket、锁、或设备节点)。

  • 先验证是否真卡住:kill -0 $(pgrep libvirtd) 能成功返回,说明进程没崩溃;但 virsh version 也卡住,基本可锁定为死锁
  • 检查是否有未完成的 QEMU 进程残留:ps aux | grep qemu,若存在大量 qemu-system-x86_64 处于 D(uninterruptible sleep)状态,libvirtd 很可能在等它们退出
  • 对比其他节点:同一集群中其它宿主机 virsh list --all 正常,而本机异常,排除全局配置问题,聚焦本地进程状态

绕过 systemd 手动启动 libvirtd 查看实时报错

systemd 会掩盖部分初始化失败细节。直接以 debug 模式前台运行 libvirtd,能暴露卡点:

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载
  • 停掉 systemd 管理的服务:systemctl stop libvirtd(若卡死无法 stop,就跳过)
  • 手动启动并输出日志:libvirtd -d -l --config /etc/libvirt/libvirtd.conf
  • 如果报错 Unable to initialize network sockets,说明监听端口(如 16509)被占用或 SELinux 拒绝 bind;若无报错但命令卡住不动,大概率是某处锁竞争或等待超时
  • 关键线索藏在 strace -p $(pgrep libvirtd) -e trace=connect,bind,accept,fcntl,lock 中——看它最后卡在哪个系统调用上

常见死锁诱因和对应检查项

libvirtd 死锁通常不来自代码逻辑缺陷,而是与底层资源交互时陷入不可中断等待。以下三类最典型:

  • QEMU 进程僵死:虚拟机处于 paused 或 in shutdown 状态,但对应的 qemu-system-x86_64 进程卡在 D 状态(如等待磁盘 I/O)。此时 libvirtd 在调用 qmp query-status 时无限期等待响应。检查:ps aux | awk '$8 ~ /^D$/ {print $0}'
  • libvirt 存储池挂载异常:NFS/CIFS 存储池路径不可达,libvirtd 初始化时尝试 stat 或 readdir 卡住。现象是 virsh pool-list 也卡死。检查:find /var/lib/libvirt/images -maxdepth 1 -type d -exec ls -ld {} \; 2>/dev/null | grep "Permission denied\|Connection timed out"
  • SELinux avc 拒绝叠加锁等待:比如 avc: denied { write } for ... scontext=system_u:system_r:virtd_t:s0 导致 libvirtd 尝试 fallback 到其他路径,而 fallback 路径又触发另一个 avc,形成循环等待。检查:ausearch -m avc -ts recent | audit2why,特别注意连续出现多条 deny

临时恢复但不重启宿主机的方法

死锁状态下,硬 kill libvirtd 可能导致正在运行的虚拟机状态丢失(尤其是未写入磁盘的内存页)。更稳妥的做法是:

  • 先尝试强制释放 libvirtd 的 socket:rm -f /var/run/libvirt/libvirt-sock,再 libvirtd -d -l;若仍卡住,说明问题不在通信层
  • 对疑似僵死的 QEMU 进程,用 kill -SIGUSR2 $(pidof qemu-system-x86_64) 发送调试信号(部分版本支持),看是否能唤醒
  • 若确定是存储池导致,临时注释掉 /etc/libvirt/storage/ 下对应 XML 文件中的 <source></source> 块,再 reload:virsh pool-undefine <pool-name></pool-name> → virsh pool-define <cleaned-xml></cleaned-xml>
  • 最终手段:用 gdb -p $(pgrep libvirtd) 连上去执行 thread apply all bt,看所有线程堆栈——死锁线程通常在 pthread_mutex_lock 或 epoll_wait 上停滞

真正棘手的是那些发生在内核态的阻塞(比如 NFS 客户端 hang 在 __rpc_execute),这种情况下 libvirtd 只能被 SIGKILL 终止,但必须接受虚拟机可能进入 undefined 状态的风险。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4110

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3493

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2713

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6590

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

6242

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3633

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3105

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3339

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习