面議(經常性薪資達4萬元或以上) 新竹縣竹東鎮 工作經歷不拘 2天前
【職務說明】
建構「AI 晶片 LLM 推論平台」,開發支援 vLLM、llama.cpp 與多晶片平行化推論架構 的 Middleware 與 Runtime 系統,打造可擴展、可叢集化之 AI 推論基礎設施。此職務將專注於 LLM 推論底層優化、異質運算整合與多晶片協同運算架構設計,屬於核心研發角色。
【工作內容】
1.開發與優化 LLM 推論 Middleware(vLLM / llama.cpp 整合)
2.設計多晶片平行化架構(Tensor Parallel / Pipeline Parallel / Expert Parallel)3.開發國產 AI 晶片 Runtime 與模型執行流程
4.優化 Prefill / Decode / KV Cache 記憶體存取效率5.建構 CCL(Collective Communication Library)與跨晶片通訊機制
6.分析記憶體頻寬瓶頸與運算瓶頸(Memory-bound vs Compute-bound)7.協助建構最小規模 LLM 推論叢集(Cluster)
展開 員工在職教育訓練良好升遷制度家庭日尾牙上下班交通車