999视频在线免费观看,国产精品一二二区,亚洲国产香蕉视频,中文字幕有码在线视频,亚洲日本另类,中国三级黄色大片,成人中文字幕在线观看

職位描述：參與內(nèi)部異構(gòu)大模型推理引擎優(yōu)化，支持大模型推理各種優(yōu)化技術(shù)在異構(gòu)硬件上的落地。包括但不限于： 1、參與日常推理引擎的優(yōu)化開發(fā)，不斷優(yōu)化大模型業(yè)務(wù)在對應(yīng)硬件上的TTFT、TPOT等指標(biāo)；關(guān)注業(yè)界最佳實(shí)踐，能將業(yè)界最佳實(shí)踐落地到內(nèi)部的引擎優(yōu)化中； 2、完成各種大模型推理所需的功能性開發(fā)任務(wù)； 3、參與支持日常的大模型推理服務(wù)部署，參與內(nèi)部日常提效工具的研發(fā)。 任職要求：1、有扎實(shí)的C 工程基礎(chǔ)； 2、有大模型相關(guān)訓(xùn)練或推理優(yōu)化經(jīng)驗(yàn)；有vLLM、TensorRT-LLM、MLC-LLM 等框架之一的實(shí)踐經(jīng)驗(yàn)；熟悉LLM infer 相關(guān)技術(shù)棧，熟悉TP/PP/DP等分布式通信原理等； 3、熟悉CUDA 或 ROCM，熟悉Nsight System/ Nsight Compute 工具的使用，有 GPU 或 ASIC 高性能算子開發(fā)經(jīng)驗(yàn)； 4、了解AI infra 整體技術(shù)棧需求，有訓(xùn)練框架或推理框架實(shí)戰(zhàn)經(jīng)驗(yàn)、熟悉TensorRT、TVM 等框架的使用、有二次開發(fā)能力或開源社區(qū)貢獻(xiàn)經(jīng)歷更佳。