GPU云服务器 通过Docker安装并使用cGPU服务

安装cGPU服务

1. 下载并解压cGPU安装包。
2. 查看安装包文件。
   说明 安装包版本不同时，安装包中包含的文件可能不同。

   # cd cgpu
   # ls
   cgpu-container-wrapper  cgpu-km.c  cgpu.o  cgpu-procfs.c  install.sh  Makefile  os-interface.c  README  uninstall.sh  upgrade.sh  version.h

3. 安装cGPU服务。

   sh install.sh

4. 验证安装结果。

   # lsmod | grep cgpu
   cgpu_km                71355  0

   显示cgpu服务的状态信息，表示已成功安装cGPU服务。

运行cGPU服务

GPU 0: Tesla T4 (UUID: GPU-b084ae33-e244-0959-cd97-83****)
GPU 1: Tesla T4 (UUID: GPU-3eb465ad-407c-4a23-0c5f-bb****)
GPU 2: Tesla T4 (UUID: GPU-2fce61ea-2424-27ec-a2f1-8b****)
GPU 3: Tesla T4 (UUID: GPU-22401369-db12-c6ce-fc48-d7****)

以ecs.gn6i-c4g1.xlarge为例演示2个容器共用1张显卡。

1. 执行以下命令创建容器并设置容器内可见的显存。

   docker run -d -t --gpus all --privileged --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test1 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=6 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3
   docker run -d -t --gpus all --privileged --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test2 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=8 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   说明 该命令以使用TensorFlow镜像nvcr.io/nvidia/tensorflow:19.10-py3为例，请根据实际情况更换为您自己的容器镜像。使用TensorFlow镜像搭建TensorFlow深度学习框架的操作，请参见
   在GPU实例上部署NGC环境。

   本示例中，通过设置环境变量ALIYUN_COM_GPU_MEM_CONTAINER和ALIYUN_COM_GPU_MEM_DEV指定显卡的总显存和容器内可见的显存。命令执行结果是创建了2个容器：

   • gpu_test1：分配6 GiB显存。
   • gpu_test2：分配8 GiB显存。
2. 进入容器。
   本示例中，以gpu_test1为例。

   docker exec -it gpu_test1 bash

3. 执行以下命令查看显存等GPU信息。

   nvidia-smi

   容器gpu_test1中可见的显存为6043 MiB，如下图所示。
   

查看procfs节点

cGPU服务运行时会在/proc/cgpu_km下生成并自动管理多个procfs节点，您可以通过procfs节点查看和配置cGPU服务相关的信息。下面介绍各procfs节点的用途。

1. 执行以下命令查看节点信息。

   # ls /proc/cgpu_km/
   0  default_memsize  inst_ctl  major  version

   节点信息说明如下表所示。

   节点	读写类型	说明
   0	读写	cGPU服务会针对GPU实例中的每张显卡生成一个的目录，并使用数字作为目录名称，例如0、1、2。本示例中只有一张显卡，对应的目录ID为0。
   default_memsize	读写	如果没有设置ALIYUN_COM_GPU_MEM_CONTAINER参数，默认为新创建的容器分配的显存大小。
   inst_ctl	读写	控制节点。
   major	只读	cGPU内核驱动的主设备号。
   version	只读	cGPU的版本。

2. 执行以下命令查看显卡对应的目录内容。
   本示例中，以显卡0为例。

   # ls /proc/cgpu_km/0
   012b2edccd7a   0852a381c0cf   free_weight    max_inst    policy

   目录内容说明如下表所示。

   节点	读写类型	说明
   容器对应的目录	读写	cGPU服务会针对运行在GPU实例中的每个容器生成一个的目录，并使用容器ID作为目录名称。您可以执行docker ps查看已创建的容器。
   free_weight	只读	用于查询和修改可用的权重。如果free_weight=0，新创建容器的权重值为0，该容器不能获取GPU算力，不能用于运行需要GPU算力的应用。
   max_inst	读写	用于设置容器的最大数量，取值范围为1~16。
   policy	读写	cGPU服务支持以下算力调度策略： 0：平均调度。每个容器占用固定的时间片，时间片占比为1/max_inst。 1：抢占调度。每个容器占用尽量多的时间片，时间片占比为1/当前容器数。 2：权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时，自动使用权重抢占调度。 您可以通过修改policy的值实时调整调度策略。更多调度策略说明，请参见cGPU服务算力调度示例。

3. 执行以下命令查看容器对应的目录内容。
   本示例中，以012b2edccd7a容器为例。

   # ls /proc/cgpu_km/0/012b2edccd7a
   id  meminfo  memsize  weight

   目录内容说明如下表所示。

   节点	读写类型	说明
   id	只读	容器的ID。
   memsize	读写	用于设置容器内的显存大小。cGPU服务会根据ALIYUN_COM_GPU_MEM_DEV参数自动设定此值。
   meminfo	只读	包括容器内剩余显存容量、正在使用GPU的进程ID及其显存用量。输出如下所示： Free: 6730809344 PID: 19772 Mem: 200278016
   weight	读写	用于设置容器获取显卡最大算力的权重，默认值为1。所有运行中的容器的权重之和必须小于等于max_inst。

升级cGPU服务

1. 关闭所有运行中的容器。

   docker stop (docker ps -a | awk '{ print $1}' | tail -n +2)

2. 执行upgrade.sh脚本升级cGPU服务至最新版本。

   sh upgrade.sh

卸载cGPU服务

1. 关闭所有运行中的容器。

   docker stop (docker ps -a | awk '{ print $1}' | tail -n +2)

2. 执行sh uninstall.sh脚本卸载cGPU服务。

   sh uninstall.sh

cGPU服务算力调度示例