编者按：本文来自微信大众号“新智元”（ID：AI_era），来历：Venturebeat，修改：大明，36氪经授权发布。
【新智元导读】现在，每年约有5亿用户经过Instagram的自建引荐功用查找和发现了自己喜爱的内容，其背面的引荐引擎是怎样炼成的呢？近来，Facebook宣布博客文章，初次对这个名为Explore的引荐引擎的原理和机制进行全方位揭秘，一块儿来看看！来新智元AI朋友圈和AI大咖们一同评论吧。
在现在Instagram大约10亿用户中，超越一半的人每月都经过Instagram Explore来查找视频、图片、直播和各种文章。能够预见，为这些用户构建服务根底的引荐引擎，需求担任收拾上传到Instagram的数十亿条内容，这是个工程上的大难题，尤其是这些内容仍是实时生成的。
在近来宣布的一篇博客文章中，Facebook初次揭开了Explore内部的运转机制。Facebook称，Explore是个由三部分所组成分级漏斗，运用自定义查询语言和建模技能，现在已提取了650亿个特征，每秒能够做出9000万次模型猜测。并且，这些还仅仅冰山一角。
10亿用户运用的引荐东西，背面有着怎样的奥妙？
在开端构建内容引荐体系之前，开发团队现已运用很多东西进行了大规模试验，并取得关于用户重视爱好的激烈信号。研究人员运用的首款东西是IGQL，这是一种元语言，能够供给对候选算法进行会集聚合所需的概要信息。
Facebook表明，经C++优化的IGQL可在不献身可扩展性的情况下最大程度地下降推迟，削减核算资源的耗费。工程师能够以“类似Python”的方法编写引荐算法，并弥补了帐户嵌入组件，能够辨认部分高度类似的配置文件，并将其作为帐户级信息的检索流程的一部分。
上图：ig2vec猜测账户内容类似性的功用演示
Ig2vec结构将用户与之交互的Instagram帐户视为语句中的单词序列，告诉用户或许与之交互的模型猜测。（与随机帐户比较，会话中进行交互的一系列帐户在部分上的连贯性更高。）一起，Facebook的AI会查找最近邻域检索库（FAISS）来查询数百万个帐户进行练习。
Facebook表明，在Explore中依据爱好对账户进行排名，需求猜测与每个账户相关度最高的内容，生成轻量级排名提炼模型，该模型在将候选账户传递给更杂乱的排名模型之前，会对账户进行预选。运用较杂乱模型的特征和输出的候选输入的常识，较简略的模型会测验经过直接（和直接）学习来尽或许近似主排名模型。
Explore架构和运转机制
Explorer运转包含两个阶段：候选内容生成阶段（也称为“收购”阶段）和排名阶段。
在生成阶段，Explore会发掘用户曾经与之交互过的帐户，以辨认感爱好的“种子帐户”。这些账户仅仅爱好相同的帐户的一小部分，但与“爱好相同”账户挑选结合运用，能够更高效地辨认部分类似的帐户。
了解或许招引用户的帐户是哪些，这是确认哪些内容或许会被挑选出来的第一步。IGQL答应将不同的候选内容源表明为不同的子查询，这样Explore就能够在多种类型的内容源中为普通人找到不计其数的合格候选内容。
上图所示为一个典型的Explore引荐内容源
为了保证引荐内容的安全，合适一切年龄段的用户，体系运用信号来过滤或许不符合规范要求的内容。在为每个用户树立引荐列表之前，会由算法进行细心的检测，过滤垃圾邮件和其他内容。
依据Facebook最新的社区规范履行陈述的内容，这套过滤体系十分有用。在2019年第三季度，Facebook删除了触及自残内容数量到达84.5万条，其间自动检测到79.1％，在曩昔四个季度中，Facebook删除了超越99％的儿童裸体色情内容和克扣职位。
关于每个“explore”排名恳求，体系将从数千个采样样本中挑选500个候选，并将成果送至排名阶段（即上文所说的第二阶段）。这个阶段由三部分的根底架构组成，旨在完成内容相关度和核算功率的平衡。
在排名阶段的第一阶段，滤过模型以最少的特征数量仿照其他阶段的组合。它从500个最优质和最相关的候选内容中选出1个，然后，具有彻底密布特搜集的模型（第二阶段）会挑选前50个候选内容。终究，另一个具有全特征的模型将挑选25个最佳候选内容，这些候选内容将填充至“explore”网格中。
上图：当时终究经过模型架构的图示
有时，初次滤过模型会依照内容排名顺序仿照其他两个阶段的模型。这是个修补程序，实践是一种多任务，多层算法，能够猜测人们或许对相关联的内容做出的行为。
比方点“喜爱”或“保藏”之类的“活跃”行为，以及点“不再检查这类内容”等“消沉”行为。算法会运用值模型公式进行猜测，以获取行为的会集程度，然后加权和确认用户行为的重要程度，比方“保存”帖子和“喜爱”帖子的重要性孰高孰低。
为了在新内容和现有内容之间坚持“丰厚的平衡”，Explore团队拟定了一条规矩，以促进内容多样性：增加赏罚因子，这一规矩下降了来自同一作者或种子帐户的帖子的排名，因而用户不会在资源管理器中看到来自同一个人或同一种子帐户的多个帖子。
Facebook表明：“咱们以代际方法依据每个排名候选内容的终值模型得分，对相关度最高的内容进行排名。”Explore的最激动人心的部分之一是寻觅新的风趣方法来协助社区发现Instagram上最风趣和最相关的内容。咱们还在不断持续开发Instagram Explore。无论是增加新格局的媒体，仍是不同主题的帖子（比方购物帖），都是很风趣的体会。”
参阅链接：
https://venturebeat.com/2019/11/25/facebook-details-the-ai-technology-behind-instagram-explore/
封面图来自pexels
