AI 基礎設施工程師 職業訓練課程

AI職業訓練課程內容

AI 基礎設施工程師 (AI Infrastructure Engineer) 職業訓練課程 — 三小時精華班

課程簡介：
AI 基礎設施工程師是支撐大規模 AI 模型訓練與部署的幕後英雄，專責構建高效能運算環境、GPU 叢集與自動化管線。本課程於三小時內濃縮實務精華，帶領學員從硬體配置、雲端叢集管理到 MLOps 基礎設施自動化，理解如何打造穩定、可擴展的 AI 運算平台。適合希望轉型支援生成式 AI 與大模型專案的技術專業人士。

課程特色

• 底層實務導向：聚焦 GPU 管理、叢集調度與效能優化

• 工具即戰力：Kubernetes、NVIDIA 工具、雲端 AI 服務快速上手

• 企業級思維：強調成本控制、高可用性與故障處理

課程時長

共 3 小時 (180 分鐘)
理論講解 40%、工具配置實作 45%、案例解析 15%

課程大綱

第一階段：AI 基礎設施工程師角色與生態定位 (30 分鐘)

• 職能定義：與 DevOps、雲端工程師的差異，AI 運算資源的全生命週期管理

• AI 基礎設施核心組成：GPU/TPU 硬體、儲存系統、網路架構

• 產業需求趨勢：大規模訓練叢集、推理服務擴展、混合雲部署

• 關鍵挑戰：成本優化、資源調度、故障恢復策略

第二階段：GPU 叢集與運算環境建置 (60 分鐘)

• 硬體與驅動配置：
  NVIDIA CUDA/cuDNN 安裝、多 GPU 通訊 (NCCL、MPI)

• 容器化與編排：
  Docker NVIDIA 容器、Kubernetes (Kubeflow) AI 工作負載管理

• 叢集管理工具：
  Slurm、Ray、Kubernetes Operators 資源調度實務

• 實作示範：快速部署 GPU Pod 並運行簡單訓練任務

第三階段：自動化管線與監控優化 (45 分鐘)

• MLOps 基礎設施自動化：Terraform IaC、Helm Charts 部署

• 效能監控與調優：DCGM、Prometheus、NVIDIA DCGM Exporter

• 儲存與網路優化：高 I/O 儲存 (NVMe、Lustre)、InfiniBand 網路

• 成本管理策略：Spot 實例、自動擴展、多雲負載平衡

• 簡易實作：設定監控 Dashboard 與自動擴展規則

第四階段：職涯藍圖與進階實務 (30 分鐘)

• 進階技術路徑：分布式訓練 (DeepSpeed、Megatron)、向量資料庫叢集

• 熱門工具生態：Run:ai、Weights & Biases、AWS ParallelCluster

• 作品集建構：叢集架構文件、效能優化案例展示

• Q&A 與大規模 AI 部署經驗交流

預期學習成果

完成課程後，學員將能：

• 掌握 AI 基礎設施的核心職責與技術架構

• 快速建置與管理 GPU 運算環境與容器化叢集

• 實施自動化部署、監控與效能優化策略

• 規劃個人職涯轉型與專業作品集策略