面議(經常性薪資達4萬元或以上) 台北市內湖區 工作經歷不拘 6天前更新
[職位概述]
您將負責為 AIBOX 注入「大腦」的智慧。我們正將大語言模型 (LLM) 與檢索增強生成 (RAG) 移植到本地邊緣端,實現低延遲、無網可用的本地 AI 助理。您將主導本地模型評估、RAG 知識庫建構與 Prompt 的調優整合。
[主要職責]
本地輕量化 LLM 部署與評估:
評估與優化適用於邊緣硬體(SoC/NPU)的輕量化大語言模型(如 Llama 3.3, Phi-4, Gemma4 等)。
針對邊緣端推論效能,與後端及 BSP 團隊合作優化 Token 推理速度(Prefill/Decode latency)。
RAG 知識庫架構設計:
負責本地知識庫的資料清洗、Chunking 策略制定與 Embedding 向量化。
建置與管理本地向量資料庫(Vector Database),實現精準的語意檢索。
Prompt 工程與對話流設計:
針對 AI 語音/文字助理進行 Prompt 設計與迭代調優,確保輸出格式穩定(如 JSON/Structured Output)。
設計防幻覺機制,讓 AI 助理能精確依據本地文檔回答。
MCP 協定與 Tool-use 整合:
整合MCP、Skill或 Function Calling,使 LLM 能自主呼叫 AIBOX 本地 API,控制硬體設備或查詢視覺偵測數據。
展開 意外險眷屬團保壽險按摩室書報室