IT之家6月20日报道，B站昨天开源了轻量级Index-1.9B系列模型，包含基础模型、控制组、交互模型、角色扮演模型等多个版本。
IT之家附上官方介绍：
Index-1.9B 基础：基础模型拥有19 亿个非词嵌入参数，在2.8T 中英文语料库上进行预训练，在多个评估基准上优于同行模型。
Index-1.9B pure：基础模型的对照组具有与基础相同的参数和训练策略。不同的是，该版本语料库中所有指令相关的数据都经过严格过滤，以验证指令的影响。标准。
Index-1.9B Chat：基于Index-1.9B基础，为SFT和DPO量身定制的交互模型。预训练引入了更大的互联网社区语料库，使得聊天变得更加有趣。
Index-1.9B 角色：基于SFT和DPO引入RAG，允许角色扮演定制的多个镜头。
报道称，该模型在预训练阶段使用了2.8T数据，中英文比为4:5，码比为6%。目前，角色扮演模式融入了角色“Sansan”，也允许用户按需创建自己的角色。
项目地址：https://github.com/bilibili/Index-1.9B/blob/main/README.md
版权声明：本文由今日头条转载，如有侵犯您的版权，请联系本站编辑删除。