随着国外加密数字货币炒作甚嚣尘上，我国企业和高校的超算集群和智算平台中海量的计算服务器也成为暗网挖矿客猎取的目标，尤其是那些稀缺的GPU资源，用户的使用安全面临着严峻的挑战。

挖矿病毒因其隐蔽性强、排查难度大，成为企业和技术人员亟待解决的棘手问题。近日，某高校用户凭借我司的景行‌资源分析软件‌，在快速发现和应对服务器挖矿病毒事件中发挥了关键作用，成功揪出了狡猾的病毒，展现了景行资源分析软件在复杂安全环境中的强大实战能力。

下面将详细分析病毒的发现和排查过程，为用户提供一套通用有效的挖矿病毒排查方案。

一、发现问题

某天清晨，某高校管理GPU集群的老师打开景行智算平台管理门户时，赫然映入眼帘的是多个“无作业GPU预警”。回想起昨天晚上有好几个同学在群里反馈GPU服务器上跑的pytorch训练任务比往常慢了很多倍的问题，管理员老师立即警觉起来，马上查看GPU监控页面，发现GPU利用率全部为100%，即使动手杀掉一个节点上运行的作业后，节点监控页面上显示的GPU利用率仍然是100%，CPU利用率也有点不正常，利用率持续在50%以上！

二、排查问题

(1) 景行资源分析软件误报？

首先通过 SSH 远程登录至服务器，使用nvidia-smi命令查看 GPU 的实际利用率。结果显示，GPU利用率极低，大多在30%以内，极少出现100%的情况，这与景行资源分析软件页面所显示的GPU利用率完全不符。是不是景行资源分析软件有bug误报，为什么监控模块采集到的数据和nvidia-smi命令行查看的情况不一致呢？

(2) 怀疑病毒入侵

在进一步排查过程中，我们留意到一个异常现象：一旦通过 SSH 登录到服务器，景行资源分析软件所监控的 GPU 利用率便会迅速下降到 30% 以内；而当退出 SSH 远程登录后，该页面显示的 GPU 利用率又会立即上涨至 100%。这一异常表现强烈暗示服务器可能感染了挖矿病毒。为了更清晰地观察问题，我们停止了服务器上所有管理软件、Docker服务、Xorg进程以及Python程序等，持续进行观察。

(3) 精准定位可疑进程

为避免病毒因SSH登录隐藏进程而影响排查结果，我们不再直接通过 SSH 登录服务器，而是选用以下两个命令远程查看进程信息：

ssh root@hostname -C "nvidia-smi"

ssh root@hostname -C "nvidia-smi pmon"

执行命令后发现，nvidia-smi命令的输出结果中没有显示任何进程在使用GPU，然而nvidia-smi pmon却查看到了一个python3进程（例如下图中进程号为310880的进程）。结合此前的异常情况，这个python3进程极有可能就是挖矿病毒进程。

(4) 成功揪出挖矿病毒

继续对上述可疑进程下的文件夹（文件夹位置：/proc/310880/）进行深入排查，发现该进程文件夹中伪造了大量系统命令。经过进一步细致查找，找到了进程的 cmdline 文件，查看文件内容后，发现了下图病毒命令：

从输出命令可以看出，该进程使用Python3启动，采用 ProgPowZ 算法和 Stratum 协议连接外网挖矿池，参数中包含用于绕过 SSL 安全验证的 --no-strict-ssl 、禁用watchdog机制的 --no-watchdog 及禁用服务器名称指示的 --no-sni 等可疑项，还指定了使用编号为 0 - 7 的 GPU 设备进行挖矿操作，且在排查过程中，狡猾的病毒进程号一直在变化，综合判断该进程为挖矿病毒。

水落石出，管理员老师立即采取了格式化重装系统和杀毒的措施，在短时间内清除了感染的系统，并避免了挖矿病毒在校内的扩散。

三、景行资源分析软件的优势

在本次挖矿病毒排查过程中，景行资源分析软件展现出了强大的优势。它的GPU监控功能能够实时、准确地监测GPU的使用状态；它内置的“无作业GPU/CPU预警”功能，对于没有作业运行的节点上GPU或者CPU利用率异常高的情况，能够及时给管理员发出预警信息。即便挖矿病毒通过巧妙伪装，在用户 SSH 登录时让nvidia-smi显示较低的 GPU 利用率，但景行资源分析软件依然没有被欺骗，持续准确地反馈GPU占用率异常的情况，为及时发现病毒隐患提供了关键线索，大大提升了服务器安全监测的可靠性和有效性。