GPU対応SaaSランナー
GitLabは、ModelOpsワークロードの一部としての大規模言語モデル(LLM)のトレーニングやデプロイのような、ModelOpsやHPCのための重い計算ワークロードを加速するためのGPU対応SaaSランナーを提供します。
GitLabはLinux上でのみGPU対応Runnerを提供しています。これらのランナーがどのように機能するかについての詳細は、Linux上のSaaSランナーをご覧ください。
GPU対応ランナーで利用可能なマシンタイプ
Linux x86-64のGPU対応Runnerで利用可能なマシンタイプは以下の通りです。
ランナータグ | vCPU | メモリ | ストレージ | GPU | GPUメモリ |
---|---|---|---|---|---|
saas-linux-medium-amd64-gpu-standard | 4 | 15 GB | 50 GB | 1 Nvidia Tesla T4(または同等のもの) | 16 GB |
GPUドライバ付きコンテナイメージ
Linux上のGitLab SaaS Runnerと同様に、ジョブはBring-your-own-imageポリシーで隔離された仮想マシン(VM) 。GitLabはホストVMから隔離された環境にGPUをマウントします。GPUを使用するには、GPUドライバをインストールしたDockerイメージを使用する必要があります。Nvidia GPUの場合は、CUDAツールキットを使用できます。
.gitlab-ci.yml
ファイルの例
以下の.gitlab-ci.yml
ファイルの例では、Nvidia CUDA ベースの Ubuntu イメージを使用しています。script:
、Pythonをインストールします。
gpu-job:
stage: build
tags:
- saas-linux-medium-amd64-gpu-standard
image: nvcr.io/nvidia/cuda:12.1.1-base-ubuntu22.04
script:
- apt-get update
- apt-get install -y python3.10
- python3.10 --version
ジョブを実行するたびにTensorflowやXGBoostなどの大きなライブラリをインストールしたくない場合は、必要なコンポーネントがすべてプリインストールされた独自のイメージを作成できます。このデモを見て、GPU対応のSaaS Runnerを活用してXGBoostモデルをトレーニングする方法を学んでください: