百川智能發布超千億參數的大語言模型Baichuan3
1月29日,百川智能發布了其最新的大語言模型Baichuan3,該模型擁有超過千億個參數,是目前世界上最大的中文語言模型之一。據百川智能官方介紹,Baichuan3在CMMLU、GAOKAO和AGI-Eval等多個中文評測中,都取得了優于GPT-4的成績,顯示出了強大的語義理解和生成能力。
據鉍讀網了解,Baichuan3不僅在一般的中文任務上表現出色,還在醫療領域展現了驚人的潛力。在測試邏輯推理能力的 MCMLE、MedExam、CMExam 等醫療評測上,Baichuan3的中文效果同樣號稱超過了 GPT-4,是“中文醫療任務表現最佳的大模型”。百川智能表示,Baichuan 3 可以為醫生提供輔助診斷、用藥建議、病歷生成等服務,提高醫療效率和質量。
百川智能在Baichuan3訓練過程中提出了“動態數據選擇”、“重要度保持”以及“異步 CheckPoint 存儲”等多種技術手段及方案,穩定訓練時間達到一個月以上,故障恢復時間不超過 10 分鐘。百川智能還突破了“迭代式強化學習”技術,進一步提升了語義理解和生成能力,在詩詞創作的格式、韻律、表意等方面進行了提升。
百川智能還展示了Baichuan3在詩詞創作方面的驚人成果。對于宋詞這種格式多變,結構深細、韻律豐富的高難度文體,Baichuan 3 生成的內容亦能工整對仗、韻腳和諧,讓每個人都能創作出詠物、寄思的五言律詩、七言絕句,寫下的言志、抒情的“沁園春”、“定風波”。百川智能表示,Baichuan 3 不僅可以生成優美的詩詞,還可以根據用戶的喜好和情感進行個性化定制,打造專屬于每個人的詩歌。
百川智能表示,Baichuan3是其對人工智能領域的一次重大貢獻,也是其對中文文化的一次致敬。百川智能希望通過Baichuan3 ,讓更多人感受到中文語言的魅力和潛力,推動中文語言模型的發展和應用。