崗位職責:
1、主導(dǎo)大模型在線推理系統(tǒng)的性能攻堅，構(gòu)建多節(jié)點多GPU的分布式推理架構(gòu)，實現(xiàn)智能請求調(diào)度算法與異構(gòu)硬件的極致性能調(diào)優(yōu)；
2、設(shè)計高并發(fā)場景下的負載均衡方案，構(gòu)建支持動態(tài)擴展的彈性計算架構(gòu)，優(yōu)化推理引擎運行時環(huán)境，實現(xiàn)毫秒級延遲與高QPS吞吐能力。
3、負責端側(cè)大模型量化算法的研究與開發(fā)，包括但不限于低比特量化、混合精度量化等，提升模型推理效率，降低計算資源消耗
4、 搭建和優(yōu)化大模型量化工具鏈，實現(xiàn)量化流程的自動化和高效化，提高整體研發(fā)效率

任職要求:
1.計算機科學(xué)或人工智能相關(guān)專業(yè)，碩士（3年以上工作經(jīng)驗）、博士；
2.熟悉大模型MegatronLM/Deepspeed分布式訓(xùn)練框架，深入了解模型量化、蒸餾、剪枝等模型優(yōu)化原理和策略，有文本、語音、以及多模態(tài)模型相關(guān)訓(xùn)練、效果調(diào)優(yōu)經(jīng)驗優(yōu)先；
3. 熟悉大模型量化的原理，包含低比特量化、混合精度量化等，熟悉常用量化算法，比如Smoothquant、GPTQ、AWQ等，熟悉端側(cè)使用的量化工具高通（Qnn、AIMet）、聯(lián)發(fā)科（Neural Pilot）；
4.具有獨立開發(fā)能力以及合作開發(fā)能力，具有較強的團隊精神、良好的溝通協(xié)調(diào)能力、較強的分析和解決問題的能力。