項目簡介: 整體的對話系統架構支持了任務型對話,大模型生成式對話兩種大的技術方向,在智能座艙,虛擬人直播電商,金融垂域大模型等多個業務線上落地。覆蓋了任務型對話的多輪對話,大模型人設問答,大模型文檔型問答,大模型搜索式問答等多種業務場景。項目分工: 整體業務包括7個大的業務模塊,主要包括底層架構API的設計,對話基礎服務,對話AI中臺,垂域語義理解,垂域技能實現,大模型底層推理服務,大模型推理加速優化。 本人在項目中負責整體的架構設計,整體服務的開發和部署,大模型得訓練與微調,大模型推理加速的技術指導等等。解決問題: 完成了項目整體的開發與部署,對話系統整體上支持了任務型對話和大模型生成式對話的多種業務場景,接入了智能座艙和銀行金融智能客服等復雜的商用業務場景。通過模型推理加速以后,模型推理耗時達到業界前沿水平。