京东：基于大模型的生成式检索（26页）.pdf

1、DataFunSummit#2024基于大模型的生成式检索槿松/京东算法工程师寒退之/京东算法工程师背景/现状介绍Lexical based SemanticID based未来展望01背景/现状介绍召回：在一定时间和计算复杂度的约束下，从全量商品库中，快速找出与当前搜索请求潜在相关的数千商品，要求在有限资源下进行性能和效率（召回率和准确率）之间的平衡。01 背景介绍两段式：双塔+量化、联合索引优化（poeem）、图索引；一段式：TDM，deepRetrieval等模型侧：匹配精准度低，尤其是中长尾模型侧：匹配精准度低，尤其是中长尾queryquery/skusku 用户表述与商品描述间差异较

2、大，缺失常识等信息；用户表述与商品描述间差异较大，缺失常识等信息；给定信息下，模型交互不充分，匹配不准确。给定信息下，模型交互不充分，匹配不准确。索引侧：部署成本高、推理精度损失大索引侧：部署成本高、推理精度损失大 两段式的训练模式，索引损失大；两段式的训练模式，索引损失大；商品索引库需要天例行更新，部署、存储成本高。商品索引库需要天例行更新，部署、存储成本高。01 背景介绍索引侧：(1)稠密检索两阶段，量化损失-生成式检索一阶段，不会有链路上的损失(2)例行大索引-hash索引或者轻量级索引模型侧：(3)稠密检索中，查询与文档向量的交互不够充分，仅发生在相似度计算-生成式检索模型能实现隐式的

3、查询和文档的深度交互，性能上界更高(4)充分利用大语言模型的scaling law特性，提升模型表达能力和泛化能力，显著缓解中长尾问题02Lexical based02 Lexical basedhttps:/arxiv.org/abs/2407.19829QUERY02 Lexical basedLLMTITLE领域特性位置全局无关、局部敏感信息冗余挑战：训练任务较难、搜索空间大、生成非商品率高等query太短，title较长；传统问答相反，输入信息多，答案少一对多/超多，多样性要求高生成空间大，准确率低，且生成的非商品率过高（不在商品库中）02 Lexical based02 Lexica

4、l basedTitle：舒肤佳抑菌洗手液100ml 老包装Split(ngram):舒肤佳 抑菌洗手液100ml老包装Sort(ngram):老包装 舒肤佳 洗手液 抑菌 100mlAgg(span)：老包装舒肤佳 洗手液抑菌100mlQuery2TitleQuery2MultiSpan02 Lexical basedquery1 span1_1(随机采样title1的span)neg_span1_1(随机采样neg_title1的span)02 Lexical basedGenR-PO+SFT vs RSR 中长尾提升较多，头部较弱GenR-PO+SFT vs DPO(w/o cons)高

5、于DPO不加约束，约束性生成占优GenR-PO+SFT vs DPO(w cons)偏序学习后，中长尾提升优势仍在，头部差异减弱，recall1000上，指标几乎相当02 Lexical basedL、M为超参，适当的增加span数量，控制span长度会有较好效果q2t/t2q vs query2multi-span 原始Title噪声过多，重定义任务非常关键Beamsize为超参，是指标与相关性的妥协03SemanticID based03 SemanticID basedhttps:/arxiv.org/abs/2407.21488QUERY03 SemanticID basedLLMSI

6、DLexical-based 劣势：生成token数较多时推理速度较慢，存储空间占用大SID-based 难点：依赖于生成SID的表征质量 依赖于生成的SID的质量03 SemanticID based该用户信息：年龄：age_2；性别：男性；会员状态：非会员。该用户的历史交互行为有：，。该用户本次搜索的关键词为“XX鼠标”。请根据该用户信息、历史交互行为和本次搜索关键词，预测该用户接下来最可能购买的商品：RQ量化11Google:Recommender Systems wi