“搜·荐未来”电商搜索算法技术的演进
日期：2018-10-15
来源：程序思维浏览：3200次
2018年9月28日，阿里电子商务搜索业务部门迎来了以“搜·荐未来”为主题的技术峰会。
经过多年的发展，搜索和推荐算法，从最初的简单统计模型，机器学习到形成完整的离线在线和实时深度学习和智能决策系统，每年都有新的算法突破，以帮助搜索和推荐经验和效果已经取得了显着的进步，它已成为推动电子商务业务创新和发展的新引擎。站在今天对算法演变的总结，同时着眼于未来电子商务搜索推荐算法的发展，期待真正的认知智能从机器智能到人类智能，实现新的互动体验。
淘宝搜索的一些功能是
淘宝拥有数十亿商品，与数千种叶子类别，数百种一流类别和十几个行业相关联。如何让用户找到符合意图的商品是淘宝搜索需要解决的首要问题。
淘宝搜索在大型架构或流程方面与传统搜索引擎有许多相似之处。包括数据排序、分析、索引生成索引库，如何根据用户输入的关键字在索引倒排表中进行搜索，完成产品与搜索之间的相关性评估，对输出结果进行排序，实现一些一种用户相关反馈机制等
当然，作为商品搜索电子商务，其自然的商业属性带来了更多独特的技术特征。
从数据更新的角度来看，淘宝的数据变化和更新速度非常快。每天都会有大量新产品数据上传到网站，一旦上传新项目，就需要搜索该项目。与网络搜索不同，任何人都可以发布新的网页，但是它是否被搜索引擎索引是另一回事。同时，淘宝上有大量产品不断更新，包括产品名称描述的变化，产品价格的变化，产品图片的更新，货架等。这些变化也需要更新实时。为了让用户及时找到更新的产品信息。在整个网络搜索中，许多网页静态不变，网页之间的关系也变化缓慢。大量索引的更新没有类似于淘宝搜索的实时需求。
从搜索数据源的角度来看，淘宝产品的图片在用户研究和购买过程中起着重要作用，大部分搜索结果都被图片所占据。如何更有效地使用图片的信息，无论是根据图片搜索，还是考虑图片的质量，图片与文本之间的关系等都是淘宝搜索需要考虑的问题和处理。另一个功能是完整链接功能。搜索，比较和购买在淘宝站进行。与通用网络搜索引擎不同，用户在搜索之后跳过其他网站，并且难以获得搜索之前和之后的用户数据。在淘宝搜索中，用户搜索后，会点击一些产品，然后比较产品，与卖家沟通，然后下订单购买，或返回继续搜索。搜索和搜索数据和信息非常丰富，全链接用户行为数据可以帮助我们设计更好的搜索排序算法。
最后也是更重要的一点是，淘宝是一个生态系统。搜索排序算法的设计不仅反映了搜索本身的技术追求，而且还包含更多的商业诉求。在整个网络搜索中，可以在索引之后显示是否索引一般网页，并且它不是网页所有者的决策点。在淘宝网上，它完全不同。许多商家依靠淘宝来解决民生就业问题。在线商店的流量和交易与许多人的生活息息相关。在淘宝搜索的算法设计中，我们必须考虑用户的搜索体验，并考虑业务规则以确保公平性和流量分散。许多搜索算法原理，规则或算法结果将向卖家公布，以指导卖家更好的方向。
搜索算法技术的演变
作为淘宝大众消费者和平台的互动行为，淘宝搜索是大数据智能应用在平台上大量商家互动中的最佳场景。在淘宝搜索算法开发多年的过程中，依靠工程架构系统的逐步完善，逐步实现简单的手动操作时代加上简单的算法规则，形成完整的离线在线实时深度学习和智能决策 - 制作系统，成为阿里电子商务平台的交通分配和业务驱动的智能枢纽。总结搜索算法技术的迭代进展，可分为以下四个阶段：
搜索年龄
此阶段对应于业务，搜索顺序主要围绕规则和轮换。在此阶段，数据量和用户数量仍处于可控水平。具有领域知识的专业操作和产品通常充当信息显示规则的制定者。基于主观判断和市场敏锐度，制定查询词背后的商品展示逻辑。当然，这一阶段的搜索也将使用一些基本的算法逻辑来确保信息匹配的正确性和人与物的匹配的公平性。基于传统搜索引擎技术的相关性模型，用户可以确保单词查询的产品标题的有效匹配；销售人气模型是否为消费者可接受的产品提供了更多机会。然而，通常，基于手动规则组合各种相关因子以得到最终顺序。 “人为规则”的优点是易于理解和操纵。缺点是不言而喻的。随着平台规模的增加，简单的规则无法准确表达人与物的匹配效率，一些不良商家很容易使用规则来扰乱市场。订购；
大规模机器学习的时代
随着平台规模的扩大，大型商户入驻，积极管理平台上的商店，发布商品，相对结构化的产品组织系统，类别结构，属性信息，基于商品的销售积累作为关键，评论积累，这些积累了重要的原始数据，以便更好地了解货物；消费者通过在各级页面和平台上搜索产品来越来越频繁地进行交互；数据组织形成人 - 关键结构，反馈信号在闭环系统中有效流动；所有这些都积累了用于理解用户的重要数据。
有效数据的积累为大规模使用机器学习技术解决问题提供了必要的土壤。搜索还进入研究和开发各种大型模型，如点击预测模型等，研究数据特征尺寸、特征复杂度、数据时效性高、模型训练频繁和其他相关问题，使用越来越强大的计算处理能力，分析和挖掘数百万甚至数十亿订单的超大规模数据。此时，从类别相关性和文本相关性的开始，商品流行度，排序涉及的因素越来越多；然后为了平衡卖家流量，加入卖家积分；然后为了更好的用户体验，为个性化的人和产品等添加点击预测，图像质量等因素，开始使用类似的学习排名（LTR）方法，根据、交易数据构建学习样本产品，并学习返回排序权重。
大规模实时在线学习时代
首先，与通用搜索相比，电子商务搜索对实时计算/学习有更高的要求，用户将拥有更丰富的多维交互和更长的浏览链接。因此，如果用户的预链接行为可以被系统捕获并实时建模到引擎中并作用于链接，则对整个链接的效率和用户体验至关重要。
其次，用户的行为分布不是静态的，从而打破了离线学习监督学习算法所依赖的独立且相同的分布假设，特别是在双11等大促销场景中，日流量和日常常数是等价的，分配变化。它会更加激烈。最后，由于搜索和显示产品有限，可以进入日志系统以获得用户反馈的产品集合只占整个产品集合的一部分，因此离线培训和在线存在不一致。通过在线学习系统可以在一定程度上缓解这种不一致。
因此，我们建立了一个实时计算和在线学习系统，支持二级大规模用户行为及其相关大宗商品的实时分析和处理，提取多维用户/商品数据特征，并采用分布式参数服务器架构执行在线学习，以便用户行为可以在几秒钟内影响在线服务，例如搜索排序。
我们逐渐实现了“实时功能” - >
“实时排序因子模型” - >
“实时顶级LTR /强盗模型”完成了Trinity的实时构建。我们实现了一系列微观特征，如基于成对的实时矩阵分解模型和基于逐点FTRL、的实时双线性模型，实现了实时学习排序和实时多臂。像Bandit这样的宏观控制模型实现了双链路实时系统的升级。
同时，在线学习系统强有力地支持对流量的精确调节，从而实现更快，更有效的业务决策。此外，我们抽象了在线学习算法，建立了通用的一站式在线机器学习算法平台AOP（Algorithm One-stop Platform），使得建立和部署在线学习模型变得更加容易和有效。高度可扩展。到目前为止，在线学习系统已成为搜索体系结构的基本组成部分之一，在改善用户搜索体验，支持业务决策以及支持大型11和其他效果方面发挥着巨大作用。
深度学习和智能决策时代
以深度学习和强化学习为代表的人工智能为搜索技术带来了新的变化，特别是在语义搜索，搜索个性化和智能决策三个方向。在语义搜索领域，我们设计并实现了查询表示学习框架。通过多任务学习和协作训练技术，我们为Query的标记、类别预测、重写和推荐提供统一的特征向量。同时，我们也实现了商品的特征学习框架，为商品内容理解，商品智能创造，商品语义回忆和语义匹配提供了统一的商品表示。基于查询和商品表示框架，我们实现了语义回忆和语义相似度模型，完成了从文字匹配到语义匹配的定性变异。此外，语义搜索除了增加搜索结果的相关性和改善用户体验外，还可以遏制淘宝产品顶级关键词的问题。
在搜索个性化领域，我们通过多种技术升级了原有的个性化系统：通过多任务学习的深度用户感知模型，我们可以从海量用户行为日志中学习用户的一般表达，从而使用它对于用户行为。识别、偏好估计、个性化召回、个性化排序等任务；通过多模式融合学习，我们可以自动合并产品文本、图像、标签、品牌、类别、商店和统计功能等多维功能一起形成统一的产品表示；通过在线深度排序学习，我们结合用户状态，实现了数千人更准确的排序模型；通过向量回忆引擎，我们得到了更好的一般回忆结果，有效地提高了关键词和个性化匹配深度；通过深度迁移学习，我们使用搜索技术来应用搜索之外的各种场景。随着这些深度模型在个性化领域的广泛使用，个性化系统的准确性得到了显着提高。
在智能决策领域，我们根据用户在搜索过程和引擎中的交互特征对用户的决策序列进行建模。提出了搜索会话马尔可夫决策过程的模型，并将强化学习引导到搜索顺序。同时，搜索结果会针对不同的场景收敛，并且浪费了曝光问题。我们建议在环境感知的、场景通信、中搜索基于多智能体协作学习的多个异构场景之间的个体决策和联合学习，以实现联合效益最大化。而不是差异。
在“检索时间 - >之后
大规模机器学习的时代 - >
大规模实时在线学习时代 - >
在深度学习和智能决策的四个历史阶段，我们逐步形成了当今搜索算法的排序系统。
未来发展：认知智力的探索
如上所示，经过多年的发展，搜索和推荐作为阿里电子商务的两个最大的自然交通门户网站已全部进入人工智能，并形成了完整的用户偏好在线学习，细粒度的交通匹配，并基于加固学习。具有智能决策能力的购物决策系统。
然而，在这个过程中，通过现有的产品标签数据和用户行为数据更多地获得了搜索排序或推荐学习的知识，并且仍然缺乏对产品和用户的更深入理解，并且不可能完全理解用户。表达了多重意图的真正需求。例如，如果用户搜索“性感连衣裙”，它可能正在寻找“低帮晚礼服去参加晚会的派对”，或者它可能正在寻找“露肩”海边度假的沙滩装“；用户收集了“山地鞋”和“拐杖”，可能有“山地装备”需求，需要找到更多与登山装备有关的其他物品；一个有孩子的父亲，在夏天开始时，选择“转换”来查看“大英博物馆门票”“我可能想带着我的家人和英国的暑假一起。我需要找到更多相关信息“。
为了实现认知智能，我们首先需要对用户，商品，卖家等有更深入的了解，并在电子商务领域系统地建立认知知识系统。下图显示了我们的电子商品领域的三维认知图，它由四部分组成，包括用户、场景、类别（淘宝类别/虚拟类别）和商品。这些不同类型的概念被构造成异构图，以实现用户场景项关联和对每个维度中的数据的深入了解。
该场景是商品关系的语义描述，用户需求的概念表示，以及用户和产品之间的桥梁。从商品方面来看，场景可以理解为具有语义解释的商品关系的描述。例如，属于“中秋节礼物”的同一场景的商品在中秋节中具有商品属性作为礼物。从用户的角度来看，场景可以看作是用户需求的概念性描述，如“户外烧烤”、“假日穿”等。所以我们也可以说场景是用户和商品之间的桥梁。这些场景关系可以通过行为数据挖掘或行业或专业知识获得。场景，类别和产品最终形成统一的场景地图。有了这样的认知地图系统，再通过推理计算来识别用户的真实场景诉求，就可以逐步实现搜索和推荐的认知智能。这涉及认知智能系统的另一个重要部分：基于认知图的在线图计算和推理引擎。通过计算和推理引擎，可以实现：当用户需要现有的行为表达时，它识别用户需求场景，挖掘并满足用户更深层次的需求；当用户不需要行为表达时，根据时间和地点、用户地图等信息，扩展和激发用户需求；同时，根据在线交付数据和用户反馈，优化场景挖掘和构建认知地图，不断纠正和发现场景，提高推理能力。
经过多年的发展，搜索和推荐算法，从最初的简单统计模型，机器学习到形成完整的离线在线和实时深度学习和智能决策系统，每年都有新的算法突破，以帮助搜索和推荐经验和效果已经取得了显着的进步，它已成为推动电子商务业务创新和发展的新引擎。站在今天对算法演变的总结，同时着眼于未来电子商务搜索推荐算法的发展，期待真正的认知智能从机器智能到人类智能，实现新的互动体验。
淘宝搜索的一些功能是
淘宝拥有数十亿商品，与数千种叶子类别，数百种一流类别和十几个行业相关联。如何让用户找到符合意图的商品是淘宝搜索需要解决的首要问题。
淘宝搜索在大型架构或流程方面与传统搜索引擎有许多相似之处。包括数据排序、分析、索引生成索引库，如何根据用户输入的关键字在索引倒排表中进行搜索，完成产品与搜索之间的相关性评估，对输出结果进行排序，实现一些一种用户相关反馈机制等
当然，作为商品搜索电子商务，其自然的商业属性带来了更多独特的技术特征。
从数据更新的角度来看，淘宝的数据变化和更新速度非常快。每天都会有大量新产品数据上传到网站，一旦上传新项目，就需要搜索该项目。与网络搜索不同，任何人都可以发布新的网页，但是它是否被搜索引擎索引是另一回事。同时，淘宝上有大量产品不断更新，包括产品名称描述的变化，产品价格的变化，产品图片的更新，货架等。这些变化也需要更新实时。为了让用户及时找到更新的产品信息。在整个网络搜索中，许多网页静态不变，网页之间的关系也变化缓慢。大量索引的更新没有类似于淘宝搜索的实时需求。
从搜索数据源的角度来看，淘宝产品的图片在用户研究和购买过程中起着重要作用，大部分搜索结果都被图片所占据。如何更有效地使用图片的信息，无论是根据图片搜索，还是考虑图片的质量，图片与文本之间的关系等都是淘宝搜索需要考虑的问题和处理。另一个功能是完整链接功能。搜索，比较和购买在淘宝站进行。与通用网络搜索引擎不同，用户在搜索之后跳过其他网站，并且难以获得搜索之前和之后的用户数据。在淘宝搜索中，用户搜索后，会点击一些产品，然后比较产品，与卖家沟通，然后下订单购买，或返回继续搜索。搜索和搜索数据和信息非常丰富，全链接用户行为数据可以帮助我们设计更好的搜索排序算法。
最后也是更重要的一点是，淘宝是一个生态系统。搜索排序算法的设计不仅反映了搜索本身的技术追求，而且还包含更多的商业诉求。在整个网络搜索中，可以在索引之后显示是否索引一般网页，并且它不是网页所有者的决策点。在淘宝网上，它完全不同。许多商家依靠淘宝来解决民生就业问题。在线商店的流量和交易与许多人的生活息息相关。在淘宝搜索的算法设计中，我们必须考虑用户的搜索体验，并考虑业务规则以确保公平性和流量分散。许多搜索算法原理，规则或算法结果将向卖家公布，以指导卖家更好的方向。
搜索算法技术的演变
作为淘宝大众消费者和平台的互动行为，淘宝搜索是大数据智能应用在平台上大量商家互动中的最佳场景。在淘宝搜索算法开发多年的过程中，依靠工程架构系统的逐步完善，逐步实现简单的手动操作时代加上简单的算法规则，形成完整的离线在线实时深度学习和智能决策 - 制作系统，成为阿里电子商务平台的交通分配和业务驱动的智能枢纽。总结搜索算法技术的迭代进展，可分为以下四个阶段：
搜索年龄
此阶段对应于业务，搜索顺序主要围绕规则和轮换。在此阶段，数据量和用户数量仍处于可控水平。具有领域知识的专业操作和产品通常充当信息显示规则的制定者。基于主观判断和市场敏锐度，制定查询词背后的商品展示逻辑。当然，这一阶段的搜索也将使用一些基本的算法逻辑来确保信息匹配的正确性和人与物的匹配的公平性。基于传统搜索引擎技术的相关性模型，用户可以确保单词查询的产品标题的有效匹配；销售人气模型是否为消费者可接受的产品提供了更多机会。然而，通常，基于手动规则组合各种相关因子以得到最终顺序。 “人为规则”的优点是易于理解和操纵。缺点是不言而喻的。随着平台规模的增加，简单的规则无法准确表达人与物的匹配效率，一些不良商家很容易使用规则来扰乱市场。订购；
大规模机器学习的时代
随着平台规模的扩大，大型商户入驻，积极管理平台上的商店，发布商品，相对结构化的产品组织系统，类别结构，属性信息，基于商品的销售积累作为关键，评论积累，这些积累了重要的原始数据，以便更好地了解货物；消费者通过在各级页面和平台上搜索产品来越来越频繁地进行交互；数据组织形成人 - 关键结构，反馈信号在闭环系统中有效流动；所有这些都积累了用于理解用户的重要数据。
有效数据的积累为大规模使用机器学习技术解决问题提供了必要的土壤。搜索还进入研究和开发各种大型模型，如点击预测模型等，研究数据特征尺寸、特征复杂度、数据时效性高、模型训练频繁和其他相关问题，使用越来越强大的计算处理能力，分析和挖掘数百万甚至数十亿订单的超大规模数据。此时，从类别相关性和文本相关性的开始，商品流行度，排序涉及的因素越来越多；然后为了平衡卖家流量，加入卖家积分；然后为了更好的用户体验，为个性化的人和产品等添加点击预测，图像质量等因素，开始使用类似的学习排名（LTR）方法，根据、交易数据构建学习样本产品，并学习返回排序权重。
大规模实时在线学习时代
首先，与通用搜索相比，电子商务搜索对实时计算/学习有更高的要求，用户将拥有更丰富的多维交互和更长的浏览链接。因此，如果用户的预链接行为可以被系统捕获并实时建模到引擎中并作用于链接，则对整个链接的效率和用户体验至关重要。
其次，用户的行为分布不是静态的，从而打破了离线学习监督学习算法所依赖的独立且相同的分布假设，特别是在双11等大促销场景中，日流量和日常常数是等价的，分配变化。它会更加激烈。最后，由于搜索和显示产品有限，可以进入日志系统以获得用户反馈的产品集合只占整个产品集合的一部分，因此离线培训和在线存在不一致。通过在线学习系统可以在一定程度上缓解这种不一致。
因此，我们建立了一个实时计算和在线学习系统，支持二级大规模用户行为及其相关大宗商品的实时分析和处理，提取多维用户/商品数据特征，并采用分布式参数服务器架构执行在线学习，以便用户行为可以在几秒钟内影响在线服务，例如搜索排序。
我们逐渐实现了“实时功能” - >
“实时排序因子模型” - >
“实时顶级LTR /强盗模型”完成了Trinity的实时构建。我们实现了一系列微观特征，如基于成对的实时矩阵分解模型和基于逐点FTRL、的实时双线性模型，实现了实时学习排序和实时多臂。像Bandit这样的宏观控制模型实现了双链路实时系统的升级。
同时，在线学习系统强有力地支持对流量的精确调节，从而实现更快，更有效的业务决策。此外，我们抽象了在线学习算法，建立了通用的一站式在线机器学习算法平台AOP（Algorithm One-stop Platform），使得建立和部署在线学习模型变得更加容易和有效。高度可扩展。到目前为止，在线学习系统已成为搜索体系结构的基本组成部分之一，在改善用户搜索体验，支持业务决策以及支持大型11和其他效果方面发挥着巨大作用。
深度学习和智能决策时代
以深度学习和强化学习为代表的人工智能为搜索技术带来了新的变化，特别是在语义搜索，搜索个性化和智能决策三个方向。在语义搜索领域，我们设计并实现了查询表示学习框架。通过多任务学习和协作训练技术，我们为Query的标记、类别预测、重写和推荐提供统一的特征向量。同时，我们也实现了商品的特征学习框架，为商品内容理解，商品智能创造，商品语义回忆和语义匹配提供了统一的商品表示。基于查询和商品表示框架，我们实现了语义回忆和语义相似度模型，完成了从文字匹配到语义匹配的定性变异。此外，语义搜索除了增加搜索结果的相关性和改善用户体验外，还可以遏制淘宝产品顶级关键词的问题。
在搜索个性化领域，我们通过多种技术升级了原有的个性化系统：通过多任务学习的深度用户感知模型，我们可以从海量用户行为日志中学习用户的一般表达，从而使用它对于用户行为。识别、偏好估计、个性化召回、个性化排序等任务；通过多模式融合学习，我们可以自动合并产品文本、图像、标签、品牌、类别、商店和统计功能等多维功能一起形成统一的产品表示；通过在线深度排序学习，我们结合用户状态，实现了数千人更准确的排序模型；通过向量回忆引擎，我们得到了更好的一般回忆结果，有效地提高了关键词和个性化匹配深度；通过深度迁移学习，我们使用搜索技术来应用搜索之外的各种场景。随着这些深度模型在个性化领域的广泛使用，个性化系统的准确性得到了显着提高。
在智能决策领域，我们根据用户在搜索过程和引擎中的交互特征对用户的决策序列进行建模。提出了搜索会话马尔可夫决策过程的模型，并将强化学习引导到搜索顺序。同时，搜索结果会针对不同的场景收敛，并且浪费了曝光问题。我们建议在环境感知的、场景通信、中搜索基于多智能体协作学习的多个异构场景之间的个体决策和联合学习，以实现联合效益最大化。而不是差异。
在“检索时间 - >之后
大规模机器学习的时代 - >
大规模实时在线学习时代 - >
在深度学习和智能决策的四个历史阶段，我们逐步形成了当今搜索算法的排序系统。
未来发展：认知智力的探索
如上所示，经过多年的发展，搜索和推荐作为阿里电子商务的两个最大的自然交通门户网站已全部进入人工智能，并形成了完整的用户偏好在线学习，细粒度的交通匹配，并基于加固学习。具有智能决策能力的购物决策系统。
然而，在这个过程中，通过现有的产品标签数据和用户行为数据更多地获得了搜索排序或推荐学习的知识，并且仍然缺乏对产品和用户的更深入理解，并且不可能完全理解用户。表达了多重意图的真正需求。例如，如果用户搜索“性感连衣裙”，它可能正在寻找“低帮晚礼服去参加晚会的派对”，或者它可能正在寻找“露肩”海边度假的沙滩装“；用户收集了“山地鞋”和“拐杖”，可能有“山地装备”需求，需要找到更多与登山装备有关的其他物品；一个有孩子的父亲，在夏天开始时，选择“转换”来查看“大英博物馆门票”“我可能想带着我的家人和英国的暑假一起。我需要找到更多相关信息“。
为了实现认知智能，我们首先需要对用户，商品，卖家等有更深入的了解，并在电子商务领域系统地建立认知知识系统。下图显示了我们的电子商品领域的三维认知图，它由四部分组成，包括用户、场景、类别（淘宝类别/虚拟类别）和商品。这些不同类型的概念被构造成异构图，以实现用户场景项关联和对每个维度中的数据的深入了解。
该场景是商品关系的语义描述，用户需求的概念表示，以及用户和产品之间的桥梁。从商品方面来看，场景可以理解为具有语义解释的商品关系的描述。例如，属于“中秋节礼物”的同一场景的商品在中秋节中具有商品属性作为礼物。从用户的角度来看，场景可以看作是用户需求的概念性描述，如“户外烧烤”、“假日穿”等。所以我们也可以说场景是用户和商品之间的桥梁。这些场景关系可以通过行为数据挖掘或行业或专业知识获得。场景，类别和产品最终形成统一的场景地图。有了这样的认知地图系统，再通过推理计算来识别用户的真实场景诉求，就可以逐步实现搜索和推荐的认知智能。这涉及认知智能系统的另一个重要部分：基于认知图的在线图计算和推理引擎。通过计算和推理引擎，可以实现：当用户需要现有的行为表达时，它识别用户需求场景，挖掘并满足用户更深层次的需求；当用户不需要行为表达时，根据时间和地点、用户地图等信息，扩展和激发用户需求；同时，根据在线交付数据和用户反馈，优化场景挖掘和构建认知地图，不断纠正和发现场景，提高推理能力。