大规模语言模型（LLM）对自然语言处理（NLP）领域产生了重大影响，其处理各种任务的强大能力也为其他领域的从业者开辟了新的探索途径。是。推荐系统（RS）作为解决信息过载的有效手段，已紧密融入我们的日常生活。如何利用LLM有效重塑RS是一个很有前景的研究课题[20, 25]。

本文首先介绍生成推荐系统和京东联属广告的一些背景，然后解释为什么以及如何将两者结合起来。接下来，对现有的流程和技术进行总结和整理。最后，我们将演示在联盟广告场景中的应用。

一、背景

生成式推荐系统

生成推荐系统直接生成推荐或推荐相关内容，无需一一计算每个候选的排名分数[25]。

由于实际系统中的材料（项目）数量巨大，传统RS通常采用多级过滤范式，包括召回、粗排序、精排序和重排等过程。规则/策略）将候选材料的数量从千万甚至上亿减少到数百，并对这些材料应用更复杂的推荐算法，将候选材料的数量减少到更少的材料。推荐。复杂的推荐算法并不适合所有大规模材料，因为它们受到响应时间要求的限制。

LLM生成功能可以重建RS。与传统RS相比，生成推荐系统具有以下优点： 1）简化推荐流程。 LLM可以直接生成推荐材料，而不是计算候选集中每个材料的排名分数，从而可以将多级过滤范式（基于判别、识别）转换为单级过滤范式（基于生成、生成）。实现过渡。 ）。在每个解码步骤中，LLM 都会生成一个向量，表示所有可能标记的概率分布。经过几个解密步骤，生成的令牌可以形成代表目标材料的完整标识符。该过程隐式枚举所有候选材料以生成推荐的目标材料[25]。 2）通用性和稳定性好。利用法学硕士的世界知识和推理能力，在冷启动和新用户和材料的新领域场景中提供更好的建议和转换效率。同时，与传统RS相比，生成推荐系统方法更加稳定和可重用。随着场景或业务的变化，特征处理策略变小，训练数据量变小，模型更新频率降低。

•图1.传统推荐系统和基于LLM的生成推荐系统的流程比较[25]

京东联盟广告

京东联盟是京东旗下的联盟营销平台，主要用于站外CPS广告。联盟合作伙伴通过生成的链接在其他网站和社交媒体平台上推广京东产品，并鼓励用户点击这些链接并在京东购物，从而赚取销售佣金。京东联盟将以此吸引流量，提高平台认知度和覆盖面，实现吸引新用户、带动活跃度等目标。

推荐系统材料通常包括来自不同模式的各种信息，例如视频缩略图、音乐音频和新闻标题。因此，材料标识符必须表示文本空间中每种材料的复杂属性，以实现生成推荐。良好的材质标识符创建方法必须至少满足两个标准。 1）保持适当的长度以降低文本生成难度。 2）将先验信息融入到素材索引结构中，使得相似项可区分并共享最多的token，不同的item共享最少的token。以下是构建项目标识符的一些方法：

(1) 数字ID（数字ID）

由于数字在传统RS 中广泛使用，因此一种简单的策略是在生成推荐系统中也使用数字ID 来表示项目。传统RS将每个材质ID视为一个独立的、完整的令牌，无法进一步划分。将这些标记添加到模型中1) 需要大量内存来存储每个标记的向量表示，2) 需要足够的数据来训练这些向量表示。为了解决这些问题，生成推荐系统将数字ID 拆分为一组多个令牌，允许使用受限令牌来表示无限的材料。现有研究考虑了各种策略来有效地将材料表示为标记序列。 1）顺序索引：基于时间序列，用连续的数字来表示素材，如“1001、1002、……”。这允许您捕获同一用户交互的材料的共现（如果基于分段进行分段）。 SentencePiece 的分词器将“1001”和“1002”分别拆分为“100”和“1”以及“100”和“2”。 2）协作索引：基于共现矩阵或协同过滤信息构建素材标识符，使得共现频率较高的素材或交互数据相似的素材具有相似的标识符前缀。尽管在生成推荐系统中使用数字ID 是有效的，但它们通常缺乏语义信息，遭受冷启动问题，并且无法利用LLM 中编码的世界知识。

(2)文本元数据

为了解决数字身份证中缺乏语义信息的问题，一些研究工作已经利用了材料的文本元数据，例如电影标题、产品名称、书名和新闻标题。当与LLM结合时，LLM中编码的世界知识可用于更深入地了解材料特性。然而，这种方法有两个问题。 1）如果材质表达文本很长，其生成的计算成本很高。此外，长文本很难在数据集中找到精确匹配。仔细检查每一段长文本的存在性或相关性，我们就会回到判别式推荐范式，因为我们需要计算与数据集得分中所有项目的匹配。 2）自然语言是一种强大且富有表现力的媒介，但在许多情况下它也可能是模棱两可的。两个不相关的项目可以具有相同的名称。例如，“苹果”可能既是一种水果，又是对苹果公司的特定引用，但两个密切相关的项目（例如数据挖掘中众所周知的“啤酒”）可能具有不同的标题。 “尿布”的一个例子[25]。

(3)基于语义的ID(SID)

为了同时获得语义和判别性的材质标识符，现有方法主要通过以下方式离散材质向量。 1）基于RQ-VAE模型[8]。 RQ-VAE模型由三部分组成：编码器、残差量化器和解码器。其输入是从预训练语言模型（例如LLaMA [9] 或BERT [28]）中提取的材料的语义表示。是物质对应。在这个分支中，TIGER[7]是一个领先的工作，它通过材料的文本描述生成相应的令牌序列，并用语义ID命名令牌序列。 LC-Rec [4] 设计了各种任务来微调LLM，目的是实现用户交互数据或材料文本描述和语义ID 的语义对齐。这两种方法首先将材料的语义关联捕获为标识符。也就是说，具有相似语义的项目具有相似的标识符。然后，通过对推荐数据进行训练来优化标识符的表示以获得相关性。相比之下，LETTER [6]通过集成分层语义、协作信号和编码分配的多样性来构建高质量的材料标识符。 2）基于语义层次聚类方法。 ColaRec [1] 首先使用协作模型对材料进行编码，然后使用K-means 聚类算法对材料进行分层聚类，使用分类类别作为材料标识符。接下来，详细细化材料的语义和交互信息。调优任务。 Hi-Gen[5]在获取素材标识符的阶段同时考虑交互信息和语义信息，并使用度量学习来融合两类信息。

（四）总结

上述三类表达方式的比较如下。

表1. 各种离散材料表示方法的比较

京东联盟广告+生成式推荐系统

在生成推荐系统中，模型输入由三部分组成：任务描述、用户信息、上下文和外部信息。其中，用户信息主要包括用户的历史交互数据和用户画像。

（一）业务内容

为了利用生成模型的理解能力，任务描述主要用于指导生成模型完成推荐任务。换句话说，推荐任务被建模为下一个项目预测（语言模型的下一个标记预测（这里是下一个项目预测））。任务描述定义了提示的单词模板，并使用可用的数据嵌入到该模板中，用于例如：“这是用户的历史交互数据：{历史行为}，他的偏好是：{preferences}，请提供推荐。”同时将用户的历史交互数据：交互数据和偏好作为模型输入内容[26]。

(2) 用户交互历史数据

用户历史交互数据在推荐系统中发挥着重要作用。该交互数据隐含地传达了用户对材料的偏好。用户历史交互数据的表示与上面介绍的素材表示密切相关。 1) 材料数字ID序列。材料的数字ID 被LLM 视为明文，并被标记器分割成多个标记。 2）材料文本序列。材料的文本元数据与预先训练的语言模型结合提供。语言模型可以根据世界知识对材料之间的相关性进行建模。 3）素材文本向量和素材ID向量序列。 LLaRA [2] 在素材标题向量之后连接一个素材ID 向量，以补充来自协作模型的交互信息。

（三）用户画像

为了增强用户建模，集成用户画像，例如用户的基本信息和偏好信息，是推荐系统中对用户特征进行建模的有效方法。大多数情况下，用户的基本信息（例如性别）可以直接从在线推荐平台获取。该用户信息可以与描述性文本相结合，例如“用户描述：女性，25-34岁，从事销售/营销工作”[26]。然而，由于用户隐私问题，获取用户画像可能比较困难，一些研究直接使用用户ID或ID向量[3]进行用户建模。

(4) 背景和外部信息

上下文信息（位置、场景、时间等）可以影响用户的决策。例如，在推荐户外产品时，用户可能更有可能购买帐篷而不是水龙头。因此，通过将时间等上下文信息纳入LLM，可以实现有效的用户理解。此外，外部知识可用于提高生成推荐模型的性能。例如，用户-项目交互图的结构化信息。

二、生成式推荐系统的四个环节

在推荐数据上训练生成推荐模型涉及两个主要步骤：构建文本数据和优化模型[26]。构建文本数据将推荐数据转换为具有文本输入和输出的样本。输入和输出的选择取决于任务的定义以及材料的表示方式。基于数字ID和文本元数据的材料表示方法可以直接构造文本数据，而基于语义ID的方法需要基于向量的材料标识符的学习和检索。关于模型优化，给定输入和输出数据，生成模型的训练目标是最大化给定输入预测输出的条件可能性。

对于生成推荐系统，主要任务是“对用户进行材料标识符培训”。也就是说，输入由用户构建，输出是下一个材料的标识符。基于数字ID 和文本元数据的方法利用此任务来训练模型。对于基于语义ID的方法，由于语义ID和自然语言之间的差距，通常使用以下辅助任务来增加材料文本和标识符之间的一致性[4]：1）“材料文本到材料标识符的训练”或“材料文本到材料标识符培训”。每个训练样本输入/输出对包含相同的材料标识符和文本内容，并且可以互换地用作输入或输出。 2）“对用户进行材料文本培训。”通过将用户信息与下一个项目的文本内容相结合，隐式对齐项目标识符和项目文本。在训练LLaMA等大型语言模型时，可以采用多种策略来提高训练效率，包括高效的参数微调、模型蒸馏、推荐数据筛选等。

为了实现材料推荐，生成推荐系统必须识别推理阶段产生的结果。这意味着必须实现生成的材料标识符和数据集中的材料之间的有效关联。给定用户输入表示，生成推荐系统首先通过波束搜索自回归生成材料标识符。这里的生成方法可以分为两种：自由生成和限制生成[26]。对于自由生成，在每个解码步骤中，模型都会搜索整个词汇表并选择概率最高的前K 个标记作为下一代的输入，其中K 的值是在捆绑搜索中定义的捆绑大小。然而，搜索整个词汇表可能会生成数据集中不存在的标识符，从而使推荐无效。

为了解决这个问题，早期的工作使用了项目位置的精确匹配。也就是说，我们执行了自由生成并简单地丢弃了无效标识符。尽管如此，由于标识符无效，尤其是基于文本元数据的标识符，它们仍然存在准确性较低的问题。为了提高准确性，BIGRec [23]提出通过生成的令牌序列表示和材料表示之间的L2 距离来识别生成的标识符到有效材料。这样，每个生成的标识符都可以保证放置在有效的材料上。同时，在推理阶段也使用了约束生成。例如，有限生成使用Trie（前缀树）和FM-index来保证标识符的高效生成。

除了预测下一个材质等常见的推荐任务外，您还可以充分利用免费生成来生成新的材质描述或预测下一个Masu。

物料表示

当前一代推荐系统的代表性研究（RecSysLLM[22]、P5[20][24]、How2index[18]、PAP-REC[17]、VIP5[19]、UniMAP[27]、TIGER[7] )、LC-Rec[4]、TransRec[16]、M6-Rec[21]、BIGRec[23]、LMRecSys[10]、NIR[12]、RecRanker[13]、InstructRec[11]、Rec -GPT4V[ 14] ], DEALRec[15]) 可总结如下。

表2. 生成推荐系统的代表性研究[26]

模型输入表示

模型训练

基于对现有研究的调查和概述，我们的解决方案基于“基于语义ID的材料表示”和“协调协作信息和文本信息的训练任务”。

图2 总体设计框架图

模型推理

(1) 基于语义ID（SID）的材质表示

文档文本描述：表示基于产品标题的文档。

素材向量：分别通过预训练的bert-base-chinese和Yi-6B提取文本描述对应的向量。向量的维度分别为768 (bert-base-chinese) 和4096 (Yi-6B)。

材料SID：基于RQ-VAE 模型量化材料向量。 RQ-VAE模型由三部分组成：编码器、残差量化器和解码器。它的输入是从预先训练的语言模型中提取的向量，其输出是与素材对应的SID序列。冲突数据的处理方式可以是不处理数据、允许一个SID 对应多个产品、或者向冲突产品添加随机维度以使单个SID 唯一。这是一个产品。例如产品“ThinPad联想ThinkBook 14+ 2024 14.5英寸轻薄英特尔酷睿超AI全能高性能独立显卡商务办公笔记本电脑”可表示为a_99b_225c_67d_242或a_99b_225c_67d_242e_0。

图3. RQ-VAE模型图[8]

(2)链接信息与文本信息链接的训练任务

预测下一个项目：推荐系统的主要任务是针对给定的用户描述（用户画像+过去的交互数据）预测下一个推荐项目。

额外的对齐：由于之前SID和自然语言之间的差距，通过额外的对齐训练，材料SID和材料，包括两个双向任务：SID到文本描述和文本描述到SID之间建立连接。

现有工作总结

三、实践方案

(1) 下一项预测

{ 'instruction': '用户性别为女性，年龄在46岁至55岁之间，婚姻状况已婚，是否有子女未知。用户按时间顺序单击了以下项目：a_112b_238c_33d_113、a_73b_50c_228d_128、a_20b_251c_30d_178、a_142b_216c_7d_136、a_190b_171c_15d_201、a_72b_160c_20 d_2 48、a_158b_101c_54d

_107>, <a_175><b_4><c_75><d_138>, <a_142><b_20><c_175><d_136>, <a_210><b_166><c_67><d_44>, <a_10><b_89><c_96><d_143>, <a_27><b_45><c_21><d_212>, <a_142><b_27><c_192><d_159>，你能预测用户下一个可能点击的商品吗？", "response": "<a_96><b_113><c_49><d_174>"}（2）Item and SID Alignment1 - SID2Title { "instruction": "商品<a_99><b_225><c_67><d_242>的标题是什么？", "response": "ThinkPad 联想ThinkBook 14+ 2024 14.5英寸轻薄本英特尔酷睿ultra AI全能本高性能独显商务办公笔记本电脑 Ultra5 125H 32G 1T 3K屏 高刷屏"}（3）Item and SID Alignment2 - Title2SID { "instruction": "哪个商品的标题是\"ss109威震天变形MP威震玩具天金刚飞机威男孩机器人战机模型合金 震天战机（战损涂装版）\"？", "response": "<a_91><b_24><c_66><d_5>"}

基座模型、训练及推理

（1）base model: Qwen1.5-0.5B/1.8B/4B和Yi-6B （2）基于SID增加新tokens，并利用交互数据进行训练 （3）采用基于beam search的受限解码策略，beam size=20 （4）实验方式：离线实验+线上小流量实验 （5）离线评估指标：HR@1,5,10; NDCG@1,5,10 （6）在线评估指标：UCTR

实验结果

（1）离线实验——同一基座模型不同参数规模的对比： ◦对比0.5B/1.8B/4B的结果可得，模型参数量越大，处理多种任务的能力越强，评估指标值越高； ◦由于0.5B模型能力较弱，不适宜处理多种任务数据，单一任务训练得到的模型相较混合任务有8倍提升； ◦在离线训练和测试数据有3个月的时间差的情况下，模型的表现仍然可观。 （2）离线实验——不同基座模型的对比： ◦Yi-6B模型在不使用受限解码的情况下就有最佳的表现； ◦微调后的Yi-6B指令遵循的能力较好，可进行next item prediction和标题文本生成。 （3）离线实验——与协同模型结果对比： ◦在相同的数据规模和数据预处理的情况下，Yi-6B模型的效果更好； ◦对稀疏数据进行过滤后训练的协同模型效果会有显著提升，传统模型对数据和特征的处理方式更为敏感。 （4）线上小流量实验： ◦多个置信的站外投放页面的小流量实验显示，基于生成式模型base版本可与传统多路召回+排序的top1推荐对应的UCTR结果持平，在部分页面更优，UCTR+5%以上。 ◦更适合数据稀疏、用户行为不丰富的场景。

五、优化方向

在生成式推荐系统中，构建高质量的数据集是实现精准推荐的关键。在物料表示和输入-输出数据构建层面，将语义信息、多模态信息与协同信息结合，基于联盟场景特点，可以显著提升物料表示的准确性和相关性。 为了支持RQ-VAE的稳定训练和语义ID的增量式推理，需要开发一种可扩展的SID训练和推理框架，确保语义ID能够快速适应物料变化。 此外，优化基座模型是提高生成式推荐系统性能的另一个关键领域。通过训练任务的组合和采用多种训练方式，例如，多LoRA技术和混合数据策略，可以进一步增强模型的表现。推理加速也是优化的一个重要方面，通过模型蒸馏、剪枝和量化等技术，可以提高系统的响应速度和效率。同时，基座模型的选型与变更，也是持续追求优化效果的一部分。 未来，可考虑引入搜索query内容进行搜推一体化建模。此外，引入如用户推荐理由生成和用户偏好生成等任务，可丰富系统的功能并提高用户的互动体验。 我们的目标是通过持续的技术革新，推动推荐系统的发展，实现更高效、更个性化的用户服务。欢迎对这一领域感兴趣的合作伙伴加入我们，共同探索生成式推荐系统技术的未来。

六、参考文献

1.Wang Y, Ren Z, Sun W, et al. Enhanced generative recommendation via content and collaboration integration[J]. arXiv preprint arXiv:2403.18480, 2024. 2.Liao J, Li S, Yang Z, et al. Llara: Large language-recommendation assistant[J]. Preprint, 2024. 3.Zhang Y, Feng F, Zhang J, et al. Collm: Integrating collaborative embeddings into large language models for recommendation[J]. arXiv preprint arXiv:2310.19488, 2023. 4.Zheng B, Hou Y, Lu H, et al. Adapting large language models by integrating collaborative semantics for recommendation[J]. arXiv preprint arXiv:2311.09049, 2023. 5.Wu Y, Feng Y, Wang J, et al. Hi-Gen: Generative Retrieval For Large-Scale Personalized E-commerce Search[J]. arXiv preprint arXiv:2404.15675, 2024. 6.Wang W, Bao H, Lin X, et al. Learnable Tokenizer for LLM-based Generative Recommendation[J]. arXiv preprint arXiv:2405.07314, 2024. 7.Rajput S, Mehta N, Singh A, et al. Recommender systems with generative retrieval[J]. Advances in Neural Information Processing Systems, 2024, 36. 8.Zeghidour N, Luebs A, Omran A, et al. Soundstream: An end-to-end neural audio codec[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2021, 30: 495-507. 9.Touvron H, Lavril T, Izacard G, et al. Llama: Open and efficient foundation language models[J]. arXiv preprint arXiv:2302.13971, 2023. 10.Zhang Y, Ding H, Shui Z, et al. Language models as recommender systems: Evaluations and limitations[C]//I (Still) Can't Believe It's Not Better! NeurIPS 2021 Workshop. 2021. 11.Zhang J, Xie R, Hou Y, et al. Recommendation as instruction following: A large language model empowered recommendation approach[J]. arXiv preprint arXiv:2305.07001, 2023. 12.Wang L, Lim E P. Zero-shot next-item recommendation using large pretrained language models[J]. arXiv preprint arXiv:2304.03153, 2023. 13.Luo S, He B, Zhao H, et al. RecRanker: Instruction Tuning Large Language Model as Ranker for Top-k Recommendation[J]. arXiv preprint arXiv:2312.16018, 2023. 14.Liu Y, Wang Y, Sun L, et al. Rec-GPT4V: Multimodal Recommendation with Large Vision-Language Models[J]. arXiv preprint arXiv:2402.08670, 2024. 15.Lin X, Wang W, Li Y, et al. Data-efficient Fine-tuning for LLM-based Recommendation[J]. arXiv preprint arXiv:2401.17197, 2024. 16.Lin X, Wang W, Li Y, et al. A multi-facet paradigm to bridge large language model and recommendation[J]. arXiv preprint arXiv:2310.06491, 2023. 17.Li Z, Ji J, Ge Y, et al. PAP-REC: Personalized Automatic Prompt for Recommendation Language Model[J]. arXiv preprint arXiv:2402.00284, 2024. 18.Hua W, Xu S, Ge Y, et al. How to index item ids for recommendation foundation models[C]//Proceedings of the Annual International ACM SIGIR Conference on Research and Development in Information Retrieval in the Asia Pacific Region. 2023: 195-204. 19.Geng S, Tan J, Liu S, et al. VIP5: Towards Multimodal Foundation Models for Recommendation[C]//Findings of the Association for Computational Linguistics: EMNLP 2023. 2023: 9606-9620. 20.Geng S, Liu S, Fu Z, et al. Recommendation as language processing (rlp): A unified pretrain, personalized prompt & predict paradigm (p5)[C]//Proceedings of the 16th ACM Conference on Recommender Systems. 2022: 299-315. 21.Cui Z, Ma J, Zhou C, et al. M6-rec: Generative pretrained language models are open-ended recommender systems[J]. arXiv preprint arXiv:2205.08084, 2022. 22.Chu Z, Hao H, Ouyang X, et al. Leveraging large language models for pre-trained recommender systems[J]. arXiv preprint arXiv:2308.10837, 2023. 23.Bao K, Zhang J, Wang W, et al. A bi-step grounding paradigm for large language models in recommendation systems[J]. arXiv preprint arXiv:2308.08434, 2023. 24.Xu S, Hua W, Zhang Y. Openp5: Benchmarking foundation models for recommendation[J]. arXiv preprint arXiv:2306.11134, 2023. 25.Li L, Zhang Y, Liu D, et al. Large language models for generative recommendation: A survey and visionary discussions[J]. arXiv preprint arXiv:2309.01157, 2023. 26.Li Y, Lin X, Wang W, et al. A Survey of Generative Search and Recommendation in the Era of Large Language Models[J]. arXiv preprint arXiv:2404.16924, 2024. 27.Wei T, Jin B, Li R, et al. Towards Universal Multi-Modal Personalization: A Language Model Empowered Generative Paradigm[C]//The Twelfth International Conference on Learning Representations. 2023. 28.Kenton J D M W C, Toutanova L K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[C]//Proceedings of NAACL-HLT. 2019: 4171-4186. 版权声明：本文转载于网络，版权归作者所有，如果侵权，请联系本站编辑删除