详解GPU虚拟化技术

服务端面向真实GPU，其作用包括：

• 1)接收客户端的数据报，并解析出调用和参数;
• 2)对调用和参数进行审核;
• 3)利用CUDA和物理GPU计算审核通过的调用;
• 4)将结果编码，并返回给客户端;
• 5)对计算系统中支持CUDA的GPU进行管理。

此外，服务端运行的第一个任务是将自身支持CUDA的GPU设备的信息注册到管理端中。服务端应对客户端的请求时，为每个应用分配独立的服务线程。服务端统一管理本地GPU资源，按照一定的策略提供GPU资源，并将由于API调用修改的相关软硬件状态更新至vGPU。

2.3.3、管理端

管理端组件位于特权域，在实现CUDA编程接口虚拟化的基础上，将GPU强大的计算能力和计算资源在更高的逻辑层次上进行隔离、划分、调度。在CUDA服务端使用计算线程和工作线程在一定程度上使同在一个物理机上的GPU间负载均衡，设置CUDA管理端组件在更高的逻辑层次上进行负载均衡，使在同一个GPU虚拟集群中的GPU负载均衡。

管理端组件调度的原则是尽量使在同一个物理机上的GPU需求自给，如果该物理机上具备满足条件的GPU资源，在一般情况下，该物理机上的虚拟机的GPU需求都重定向到该物理机的CUDA服务端。

管理端对GPU资源进行统一管理，采用集中、灵活的机制，实现：

• 1)动态调度：当用户所占资源空闲时间超过一定阈值或者任务结束时，管理端回收该资源，当该用户再次发布计算任务时，重新为其任务分配GPU资源;
• 2)负载平衡：当局部计算压力过大时，调整计算负载，通过动态调度时选择合适的GPU资源来分散计算负载;
• 3)故障恢复：当出现故障时，将任务转移到新的可用GPU资源上。

【编辑推荐】

1. “IT百科”进阶学习之“虚拟化技术全攻略”
2. 无NFV不5G，6年虚拟化精彩下半场才刚开始
3. 了解虚拟化硬件支持
4. 服务器虚拟化技术深度科普
5. 用rust-vmm打造未来的虚拟化架构

（编辑：衡阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!