一、前言

拥有一个能帮你在睡觉时赚钱的助手，是不是很令人兴奋？利用京东联盟广告平台，利用AIGC大规模语言模型的超强理解、推理和规划能力。为了让合作伙伴拥有自己的智能助手，为京东联盟提供更加智能的推手，我们推出了京粉智能推广助手机器人。一站式商务服务。

1、京东联盟是什么？

《京东联盟》是一个整合媒体合作伙伴的协作平台，帮助京东推广产品并扩大品牌知名度。当京东认可的个人或公司加入京东联盟后，用户在完成有效购买后将获得相应的促销代码或促销链接，京东联盟成员将获得佣金。

2、为什么要做京粉智能推广助手？

业务方面，精粉App是京东联盟的客户端产品，平均每天有数以百万计的合作媒体和个人推送者在精粉上每推广一个产品就赚取佣金。联盟业务这些年来增加了越来越多的功能和玩法活动，这一切都是以Tike选择产品、推广产品、参与活动、分析业务数据为代价的。如果学习和操作水平越来越高，问题越来越多，而你有一个助手可以随时帮你推广客户、解答用户问题，你就需要用到数据分析。通过引导用户如何选择和推广产品以及何时参加、参与哪些类型的促销活动，我们鼓励更多的用户愿意参与并帮助推广京东。

技术上，随着大语言模型技术的不断成熟，AIGC超强的理解、推理、规划能力将让辅助应用的实现变得更加容易，让Tike现在可以完全理解自然语言交互的形式进行个性化管理。诉求深度结合广大推手的真实促销环节，从智能选品、促销建议、素材创作、业务引导等方面为推手带来业务升级，替代传统的被动互动形式，解决巨大的需求差异。中的获取问题比如信息效率低下。

二、如何做？

精粉智能推广助手集成了知识问答、素材创作、选品推广、业务数据分析等一系列功能，几乎涵盖了助手应用的所有应用场景。在这里，我们需要强大的代理来进行规划、决策和执行。同时，代理能够通过多种自然语言对话进行交互。下面我分三个部分来介绍。

• 代理架构：分为两部分。一是通过模型训练提高智能体核心大规模模型识别工具的准确性，二是设计和扩展可扩展、安全、可控的智能体架构。业务能力。

•内存：如何在多轮交互应用程序中组织、存储和检索内存，以提高用户对大型模型的理解。

• 快速回复：使用快速回复来围绕用户意图绘制路径并实现业务目标。

下面，我们将分享并讲解一些实际应用的经验。

三、实战1-AI Agent

1、为什么要用Agent？

联盟场景包含大量独特的知识、活动和数据，但大型模型缺乏垂直场景专业知识，因此大多数都有现成的接口用于服务。使用大型模型直接与用户交互很容易出现问题，因为知识贫乏，容易产生幻觉等，而且必须理解用户的意图，并且必须能够使用现有的工具。我们使用联盟来更准确地回答用户问题，但大模型本身无法组合。它与外部环境交互，必须由代理来解决。

2、挑战

• 工具识别：要使用外部工具，只有大型商用开源模型Chat GPT-3.5/4或更高的精度才能满足要求，但实验表明成本高昂。企业应用程序需要训练自己的大型模型，以学习如何更准确地识别工具。

• Agent架构：目前，Agent在应用场景上还处于发展初期，从智能客服、智能创意、推荐系统、自动驾驶、智能机器人到复杂的城市智能规划系统。因素变得更加复杂，做出的决策更加困难，面临的风险和安全水平也千差万别。因此，目前不存在通用代理。代理的架构是根据其特征、成本、效率和风险来设计的。

3、技术方案

工具标识

有两种方法可以识别大型模型的工具。一种方法是使用系统提示的方法。该方法具有高度可扩展性，但要求模型在工具选择或参数出现错误时能够遵循指令。我们在开发早期当代理无法调用工具时使用这种方法，但是提示调整过程很神奇，可以是好是坏。第二种方法是根据模型训练工具。这大大提高了工具的使用精度，并且非常容易使用。我们使用ToolLLM框架提供的数据构建、模型微调和评估框架来增强工具处理大型模型的能力。结果证明，使用LLama-6B sft的有效性已经达到了Chat GPT的水平。

代理实施

关于代理的实现，原本的计划是基于langchain代理来开发实现，但在实现的过程中，我们遇到了过度封装、异步并发效率低、版本间不兼容、核心功能不兼容等问题。 langchain 发现了许多问题，包括.由于Control是用Python实现的，解释型语言的执行速度慢，并发性弱，所以虽然灵活性高，但也存在性能低下的问题，所以不适合实验或者小规模适合您的应用的项目。基于ReAct范式，我们结合了京东内部的公共和自研组件，提供集成的工具/接口访问、自定义工具放置、内存模块、向量搜索、提示引擎、Streaming已经实现。回调函数，对各个模块的监控，用golang重写agent的主要架构，提高了系统的稳定性和高并发性，整体性能提升50%以上。

Agent的核心分为两个主要阶段：初始化阶段和迭代执行阶段。初始化阶段是用户输入、历史内存加载、工具访问、提示访问、模型访问等环境信息的收集。流式/非流式回调访问。这部分langchain代理启动阶段是比较耗时的。除了用户交互之外，还必须重新初始化代理。输入存储器、历史存储器和其他模块均已预加载，以提高效率。另一个阶段是迭代执行阶段，由预处理模块、规划、后处理模块、执行四个部分组成。预处理模块必须维护阶段状态（迭代迭代）和数据拼接过程（用户输入+）。大模型响应+执行结果）。规划阶段主要持续到大规模模型推理阶段。不同的模型需要不同的工具输入，因此您需要为您的工具预留分析模块。后处理模块分析模型规划的结果，并且可能需要在此处保存并返回工具终止或调用的结果。只需进入执行模块，将工具调用结果发送到预处理模块，进行下一轮迭代。用户已预先配置了用于模型调用和工具调用的自定义挂钩。允许在每个阶段进行流式输出。

理性的建筑

从企业级应用的角度来看，架构越智能有意义吗？这里最重要的问题其实是系统是否足够安全可靠。智能化是每个企业都追求的东西，但智能化必须在可控范围内，不受控制的智能化是任何企业都不能接受的。因此，从安全边界的角度来看，应用架构可以分为两类：

全智能架构：系统的运行完全依赖于Agent的自主执行。

安全架构：系统行为依赖于预先编写的任务流，代理仅做出流程选择和决策。

多年的经验告诉我们，如果只谈架构而不谈业务，是没有人会用的。与业务保持一致并保持积极态度。

精粉智能推广助手主要业务需求：

功能

解释及解决方案

依靠

琐事

京东联盟有很多Tike的介绍、规则、常见问题解答。插件知识库中可能的解决方案

知识库

业务分析

分析推送客户的业务状况，包括收入、客群状况、促销优惠等。可以通过联盟的各种现有工具接口访问数据。

推广客户/用户画像/活动等的工具界面

方便产品选择

目标明确（搜索iPhone 15 pro max） 目标多样（给长辈的新年礼物） 没有目的推荐产品有推荐理由，同相似产品多方面比较（费用、价格等）销量卷）、评论等）分为简单任务和复杂任务。复杂的任务可以通过特定的任务流程来实现

产品界面/历史数据/同类产品数据

生成副本

对于选定的产品，Tike 会自动生成促销文案并帮助您分享链接。

链接传输工具

.

从功能需求来看，有的任务简单，有的任务复杂，而且随着时间的推移，任务越来越多，业务定制也越来越复杂。代理人的难度显着增加。我们最终将定制任务流与自主代理决策相结合，平衡业务、安全性、成本和效率。这允许定制和可扩展性。动态规划、自主决策执行任务流和业务。

4、业务效果

四、实战2- 记忆

对于多轮对话形式的大型模型应用，上下文信息对于帮助模型理解人类需求非常有帮助。如果没有内存，具有多轮对话的大型模型的性能就会变得支离破碎。这使得模型能够更好地了解您的习惯和偏好。

1、挑战

1.1. 由于模型令牌限制和系统内存限制，无法将所有用户的历史信息保存和加载到模型中。

1.2. 如何模拟人脑的记忆和检索方法来建立长期/短期记忆。

1.3. 多轮交互中垂直领域知识的结构化存储。

2、技术方案

记忆构建可以概括为理解、存储、删除和检索的过程。短期记忆、长期记忆和垂直领域的知识通过以下方式存储和检索：

2.1.设计短期记忆比较简单，比如短期滑动窗口多轮对话或者固定时间内的多轮对话都可以作为短期记忆。保留尽可能多的细节，但回合数尽可能少。

2.2. 长期记忆：可以从短期详细记忆中提取实体信息，也可以根据记忆片段和时间戳对缓存进行汇总和压缩。保存在矢量库中。

2.3. 垂直领域知识，如京东的skuid，是数字类型的，在上述对话框中，如果将短期记忆压缩到长期记忆中，则可以向用户输出特定的skuid。 - 术语记忆、不包含语义信息的数字类型将会丢失。通过定制化的结构化信息存储，此类信息的存储和检索可以与长短期记忆相结合。 (" "Analyze Previous Item") 从内存中检索结构化skuid 来定位和分析该项目，而不是输入和识别前一个项目的“skuid”。

2.4.检索时，向量库的短期缓存和长期记忆检索（由Veach实现）和垂直领域知识同时检索，这三部分整合后，整体作为一个内存模块使用。

五、实战3-快捷回复

从线上实践数据分析，快速回复功能是系统或用户交互中使用频率最高的功能，用户在第一次使用时很难选择，尤其是在新的应用场景下。用户通常希望使用特定的功能，因此了解如何利用快速回复的优势并通过快速回复引导用户实现您的业务目标也很有趣。

快捷回复的三种实现方案

1.通过历史信息和用户当前的输入，我们继续使用大模型来总结功能并生成用户继续输入的内容。

2. 根据您的应用程序的功能预先填写一些常见问题。

3. 要点：您可以根据应用程序的业务目标规划用户使用路径图，以便用户最终可以遵循快速回复路径来实现所需的业务目标。在实际业务中，您可以将第1 点和第2 点结合起来。 2 您希望用户看到一些功能，包括您希望他们输入的内容。

例如，精粉智能推广助手的最终商业目标是帮助泰客选择和推广产品。所有功能点最终都会帮助Tike 生成和共享促销文案和促销链接。

六、总结与展望：

本文主要总结了开发大模型应用的实践经验，阐述了一般大模型应用中的常见问题如何通过AI代理+工具+内存+快速响应来解决。截至目前，精粉智能推广助手已服务近100万推特用户，产生数亿GMV。当然，在实际应用开发中，还有很多需要优化的地方，但我们会继续优化以下几点。

1、理解垂直领域用户意图：结合垂直业务特点，通过自然语言沟通，可以更准确、更快速地识别用户意图。该模型需要大量真实、可信的业务数据进行训练。机制代理需要升级，以允许多个更专业的助手进行协作，例如在多代理应用程序中。

2.生成推荐技术：对现有推荐系统的技术变革，从调用、排序、重新排列独特的推荐链接演变为直接生成用户想要的内容和产品。

3、成本效益：大型语言模型非常强大，但在其应用中，如何利用小模型在垂直品类领域达到大模型的功效，使得模型推理速度更快，也会有巨大的成本和效率考验，比如作为通过优化数据来改进计算的方法。利用效率和机器成本降低也是需要长期考虑和优化的领域。

我们也欢迎这一领域有志之士的参与与合作，用科技让我们的事业更加丰富、更加有趣。

版权声明：本文转载于网络，版权归作者所有。如有侵权，请联系本站编辑删除。