實體AI教學課程內容
Ollama 本地 AI 開源模型架設及應用課程
課程簡介
本課程為兩小時精華實戰班,專門教導學員如何在個人電腦或伺服器上安裝、建置並應用 Ollama 這個輕量、強大、開源的本地大語言模型(LLM)運行環境。學員將學習從選擇合適硬體、安裝 Ollama、下載熱門模型(例如Gemma 4),到將模型整合成日常工具與內部 AI 助手,適用於寫程式、做研究、處理文件、建構知識庫等多種場景。課程不需寫程式碼,而是用指令與介面操作,實務導向,適合程式新手、資料科學工作者與企業內部技術團隊。
課程目標
-
了解 Ollama 是什麼以及它在本地 AI 生態中的角色。
-
掌握在 Windows、Mac 及 Linux 系統上安裝與驗證 Ollama 的基本流程。
-
學會選擇適當模型(如 Llama 3、Gemma 4、Mistral 等)並透過指令拉取與管理。
-
實務練習以 Ollama 建構離線問答、文件摘要、程式輔助與內部知識庫。
-
建立「本地化 AI 工作流」的觀念,避免雲端成本與隱私風險。
1. Ollama 核心概念與定位(20 分鐘)
-
介紹 Ollama 的功能與設計理念:為什麼要「本地化 AI」?
-
Ollama 與雲端 API 服務(如 ChatGPT、Gemini)的差異:成本、速度、隱私、離線能力。
-
介紹常見可透過 Ollama 運用的開源模型家族,例如 Llama 3、Gemma、Qwen、Mistral 等。
-
本地運作對企業、法律、金融、醫療等敏感資料應用的重要性。
2. 環境準備與安裝流程(25 分鐘)
-
硬體與系統建議:CPU、記憶體、GPU(若有)的基本配置與常見限制。
-
三平台快速導覽:在 Windows、Mac、Linux 上安裝 Ollama 的步驟與驗證方式。
-
安裝後如何確認 Ollama 正常運作,查看版本與運行狀態。
-
簡要說明 GPU 與 CPU 模式運作的差異,以及何時用何種模式。
3. 模型選擇與管理實務(25 分鐘)
-
何時選擇輕量模型(小於 10B)、中型模型(10B–20B)與更大模型(27B 或以上)。
-
透過 Ollama 拉取指定模型的流程與實際操作示範(例如:Gemma、Llama 3 等)。
-
如何刪除、重載與切換模型,以及管理多個模型的實務建議。
-
介紹「量化模型」與一般完整模型在資源與準確度上的取捨。
4. 使用 Ollama 作為本地 AI 助手(25 分鐘)
-
用互動方式與 Ollama 對話,實際示範提問:問程式、問知識、問邏輯推理等。
-
示範使用 Ollama 協助寫程式、解釋程式碼、除錯與建議程式結構。
-
實作場景:
-
用 Ollama 做文件摘要與重點整理。
-
用 Ollama 協助寫報告、企劃與簡報大綱。
-
介紹如何讓 Ollama 結合本地文件與個人知識庫,提升回應品質。
5. 圖形介面與進階介接(15 分鐘)
-
介紹 Open WebUI(或類似前端介面)如何與 Ollama 整合,讓非技術使用者也能輕鬆操作。
-
示範多模型切換、歷史對話管理、檔案上傳與 RAG(Retrieval-Augmented Generation)知識庫使用。
-
介紹 Ollama 如何對外提供 API,讓其他工具(如前端、程式庫、聊天機器人)呼喚本地模型。
6. 企業與實務應用場景概覽(10 分鐘)
-
在企業內部部署 Ollama 的建議方式:單機、多使用者、Docker 容器化等。
-
企業常見應用場景:客服知識庫、內部文件問答、需求分析與報告初稿協助等。
-
如何設計安全、穩定的本地 AI 工作流,避免資料誤用與資源耗盡。
適合對象
-
對 AI 有興趣但不想寫程式碼的業務、行政、企劃、教師、研究助理等人。
-
程式開發者、資料科學家、AI 工程師,想在本地建立穩定的 LLM 平台。
-
企業 IT 團隊或數位轉型負責人,計畫在公司內部部署開源 AI。
-
任何想保護資料隱私、避免雲端 API 費用,又想用強大 LLM 協助工作的個人使用者。
學習成果
-
學員能在自己的電腦上成功安裝 Ollama 並拉取至少 2–3 款常用模型。
-
能實際運用 Ollama 協助寫作、整理文件、讀懂程式碼與回答問題,並把它當成日常工具。
-
了解如何在企業與團隊環境中,利用 Ollama 建構離線、安全、低成本的 AI 協作系統。