理解本地 AI:了解雲端 AI(如 ChatGPT)與本地 AI 模型的差異與優缺點(隱私、成本、離線使用)。
掌握工具安裝與配置:學會使用 LM Studio 搜尋、下載與管理適合自己電腦配置的開源模型(如 Llama 3、Mistral 等)。
靈活應用與對話:掌握 Prompt(提示詞)技巧,設定 System Prompt 打造專屬 AI 助手。
進階擴充概念:認識本地模型 API 介面、檢索增強生成(RAG)及多模態(Vision)模型的基礎應用。
1.1 為什麼選擇本地 AI?
雲端 AI vs. 本地 AI(隱私安全、無訂閱費、離線可用、自由度高)
開源 AI 模型生態簡介(Hugging Face、Meta Llama 3、Mistral、Qwen 等)
1.2 認識 LM Studio
LM Studio 簡介與主要功能特性
硬體需求說明(CPU/RAM/GPU 記憶體要求與選型建議)
2.1 LM Studio 下載與介面導覽
官方網站(lmstudio.ai)安裝步驟演示
主介面四大核心區域介紹:Chat(對話)、Search(模型搜尋)、My Models(模型管理)、Local Server(API 服務器)
2.2 如何選擇與下載合適的模型?
理解模型參數大小(7B、8B、14B)與量化格式(GGUF, Q4_K_M, Q8 等)
根據個人電腦規格選型(8GB / 16GB / 32GB+ RAM 對應模型選擇)
實操: 在 LM Studio 內搜尋並下載第一個輕量級 AI 模型
3.1 基礎對話與 System Prompt(系統提示詞)設定
設定 AI 的角色定位(例如:專業文案寫手、程式碼除錯專家、語言導師)
3.2 推理參數微調(Parameters Tuning)
Temperature(隨機性/創造力):如何控制回答的嚴謹度與創意度
Temperature
Context Overflow 與 GPU Offload(硬體加速優化與顯示卡記憶體分派)
Context Overflow
GPU Offload
3.3 實用場景練習
場景 1:個人機密文件/會議紀錄總結(完全不連網,確保資料隱私)
場景 2:離線程式碼撰寫與報表製作助手
4.1 啟動 Local Server(本地 API 服務)
什麼是 OpenAI 兼容 API?
一鍵啟動 LM Studio 本地 API 服務器
實操: 將 LM Studio 連接至第三方 Client 工具(如 Chatbox、AnythingLLM)
4.2 本地 RAG 簡介(知識庫問答)
結合 AnythingLLM / Dify,實現「對自己的本地 PDF/Word 文件提問」
4.3 Vision(視覺多模態)模型體驗
簡介支援圖像辨識的本地模型(如 Llava)
上傳圖片進行本地分析與文字辨識(OCR)
常見問題排查(記憶體溢出、回答速度過慢、模型亂碼等)
開源 AI 社群資源推薦(Hugging Face、Ollama 對比)
課後學員問答與現場指導