《2023 LLM 技术报告》 与《2023 中国开源开发者报告》 共同发布。本报告围绕法学硕士技术地图排序逻辑构建。当前LLM及相关软件产品和开源项目最热门的严肃技术领域是从基础设施、大规模模型、代理、AI编程、工具和平台、计算能力等方面为开发者组织的。

一

在开源开发者世界中，毫无疑问，2023年是大型模型LLM年，也是生成式AI GenAI年。

这自然是从OpenAI 开始的，随着去年年底ChatGPT 的出现，会话式法学硕士开始受到关注，为人们提供了一种新的人机交互方式。 2023年3月，同系列GPT-4.0的发布，将LLM的规模和功能提升到了一个新的水平，并为其广泛应用奠定了基础。而在11月，OpenAI通过引入GPT以及“自定义ChatGPT”的功能，让世界认识到了OpenAI作为LLM领导者的宏大叙事能力和强大的技术能力。

二

新的必应（Bing AI）代表了微软在LLM领域的雄心和决心，首次无缝集成了当时在全球范围内构思的最有价值和可行的LLM应用场景。 《互联网搜索》——倾向于碾压搜索行业和问答社区，事实证明全球最强的IT问答社区Stack OverFlow受到了重创。Google此后发布了首个Conversation，我们发布了我们的LLM产品Bard，这无疑是一个里程碑，即使这是一次充满曲折的首次亮相。

三

Claude 2、PaLM 2、Llama等模型和产品也展示了LLM对语言理解和多模态处理能力的探索。就连Claude 2也一度被誉为能与ChatGPT抗衡。 Meta 的开源Llama 2 已成为LLM 领域开源力量的领先范例。它的出现就像是一枚石子投入了平静的湖水中，Llama 2一开源，100个模型就开始了群殴，这句话一点也不夸张。两部年末大作《虚假宣传》Gemini和《磁力链接开源》Mistral 8x7B，也凭借GPT-4的实力，将LLM热潮推上云霄。

四

Stable Diffusion 和Midjourney 两大图像生成系统的出现，极大地扩展和加速了LLM 在计算机视觉领域的应用，打破了传统图像生成方法的限制，使用户只需输入即可。制作高质量数字艺术品的说明。图像生成的质量、风格的多样性和用户体验都是巨大的进步。它为数百万个人用户和创意产业提供了强大的工具，彻底改变了数字艺术内容的创作方式。同时，也引发了创意领域有关人工智能的伦理和法律争论。 LLM进入多媒体领域。未来，DALL-E 3模型的升级、Adobe产品集成LLM功能、语音模型Whisper-3的更新、AI虚拟主播的打造，都将是在这条道路上的进一步发展。

五

在AI编程时，Copilot可以根据开发者的代码提示自动完成代码，大大提高了开发效率。这也引发了关于代码独特性的讨论，但它真正将LLM带入了编程应用领域。

六

随着LangChain的出现，实现了LLM之间的链式交互，允许多个LLM模型串联工作，以最大限度地发挥各自的优势，并且可以将LLM模型连接到外部数据源，以生成更强大的功能。语言。产生效果。这为LLM整合应用开辟了新的方向，并催生了一个新的细分市场**“LLMOps”**。

七

“提示词项目”，这是LLM直接创建的一个新“领域”，其核心是研究人类如何能够更好地与LLM“沟通”，就是找到一种能够准确理解意图的方法。 方法。 Prompted Words项目考虑以可解析的方式表达LLM所需任务的方法，并寻找LLM的“最佳输入格式”。通过插入提示词，提示词项目建立了一种“人机交互语法”，使法学硕士能够更准确地传达有关他们想要产生的输出类型的指令。这为人们与LLM之间建立高效、准确的“沟通桥梁”提供了可能。什么是“链式思维（CoT）”、“自动推理与使用工具（ART）”、“思维树（ToT）”.以及更多提示利用心理学为LLM提供“情感提示” Word Project力求剖析LLM一点一点地让人类成为可以驾驭它的“法术大师”。

八

随着AutoGPT的出现，LLM代理人的概念在LLM发展中进入了一个新阶段。 LLM智能体是基于LLM的智能智能体，可以自主学习和执行任务，并具有一定的“认知和决策能力”。 LLM智能体的出现，标志着LLM从传统的模型训练和应用模式向以智能体为中心的智能模式转变。 LLM代理可以突破传统LLM的被动性，让LLM主动学习和执行任务，增加LLM的范围和价值，让其更接近人类智能。

九

AI原生目前还没有明确的定义，但从广义上讲，与当前各种应用添加自己的AI功能使其变得智能不同，智能仅起到“辅助”作用。角色：在人工智能原生环境中，LLM 从一开始就是应用程序的核心，应用程序本身的架构、功能和交互层都是围绕它构建的。 ChatGPT 可能是最经典的“AI 原生”应用。这个概念还处于起步阶段，概念清晰、应用场景、架构、技术栈细节尚未完全一致。从不同的角度来看，这个概念的引入其实与技术无关，但这里不讨论。

十

镜头将运往中国。与国际上需要将AI应用到GenAI的市场相比，中国大部分还停留在LLM的水平，差距其实很大：“大规模的模型没有意义，深度应用的机会更大。”指出。虽然这份报告主要是从LLM和其他开发者的角度出发，但实际上或多或少与GenAI是密不可分的。

国内LLM发展将于2023年活跃。从早期百度文信“严格”的ChatGPT到后来各种大模型和产品的出现，我们覆盖了各个领域和场景，构建了多元化的大模型生态系统。

大模型方面，百度的文心一言、抖音的云雀大模型、智普AI的GLM大模型、中科院的紫动太初大模型、百川智能的百川大模型、商汤科技的日日新大模型、MiniMax的ABAB等百花齐放。大模型，上海人工智能院的学者通模型、腾讯的混元大模型、蚂蚁的百灵大模型等。

同时，除了大规模模型本身，中国也在快速迭代LLM相关技术，例如Dify.AI的LLMOps、Milvus的矢量数据库、CodeGeeX和Comate的AI编程、LLM Prompt的研究、OneFlow的深度I等。是。学习框架。

另外值得一提的是华为的Panpaleoweather模型。盘古天气模型是第一个超越传统数值预报方法精度的人工智能模型，可以提供全球天气秒级预测，比传统数值预报速度快一万倍以上。盘古大模型的研究成果发表在世界顶级学术期刊正式版《自然》上，得到国际学术界的认可。

年底，零义乌推出了义模式。它有一个200K 的上下文窗口，可以处理大约400,000 个单词的文本，使其成为当时世界上任何大型模型中最长的上下文窗口。其中，Yi-34B 在Hugging Face 的英语测试榜单中排名第一，在C-Eval 的中文能力排行榜中超越所有开源模型。

十一

本报告力求从行业角度全面呈现LLM技术栈，同时对其部分内容进行更深入的分析，以供技术人员快速认知。对于那些从事相关工作或想要了解LLM的人：

矢量数据库大规模模型框架、精调的大规模模型训练平台和工具编程语言、知名大规模模型注册和在线中文大规模模型插件、IDE、终端代码生成工具LLM AgentLLMOps大规模计算模型聚合平台开发工具的强大功能。欢迎查看分享：https://talk.gitee.com/report/china-open-source-2023-llm-report.pdf

版权声明：本文转载于网络，版权归作者所有。如有侵权，请联系本站编辑删除。