騰訊混元發(fā)布4款小尺寸模型并開源 支持消費級顯卡運行
8月4日,騰訊混元發(fā)布4款小尺寸模型,分別是0.5B、1.8B、4B、7B。這四款模型全部開源,消費級顯卡就能運行,宣稱“開發(fā)者閉眼入”,適用于手機、電腦,甚至智能座駕、智能家居設(shè)備,ARM、高通、MTK、Intel等主流芯片全都兼容。
目前,四個模型均在 Github 和 Huggingface 等開源社區(qū)上線。據(jù)悉,相關(guān)模型也兼容SGLang、vLLM、TensorRT-LLM等主流推理框架。據(jù)介紹,這四款 “小” 模型具備雙腦協(xié)作能力,反應(yīng)靈活。一個 “快腦” 能瞬間響應(yīng)信息,快速解決如 “推薦附近川菜館” 等簡單問題;一個 “慢腦” 擅長深思熟慮,可處理 “設(shè)計自動寫周報系統(tǒng)” 等復(fù)雜任務(wù),如同24小時在線的最佳拍檔。
同時,模型擁有超強記憶,能精準應(yīng)答。它可一次性處理256K上下文,即便經(jīng)過幾十輪項目方案討論,也能記住每處細節(jié),后續(xù)提問時依舊對答如流。模型的Agent能力也相當(dāng)突出。它能深度搜索資料、整理去年消費賬單并自動生成Excel分析,還能一手包辦旅行規(guī)劃從路線搜索到攻略制定的全流程,高效處理多種任務(wù)。