微信 Embedding 团队出战 OGB 斩获两项第一
近期,在国际顶级图学习基准评测榜单 OGB (Open Graph Benchmark) 中,微信支付与微信看一看 Embedding 联合团队凭借在边性质预测任务方面的出色表现,在学者合作网络、药物反应网络以及学术引用网络三个数据集的边预测竞赛中分列第一名、第一名和第二名。边预测算法主要是基于观测到的图结构,预测未来会出现或未观测到的边关系,可以广泛应用在如蛋白质交互检测、欺诈检测,朋友推荐以及商品推荐等多个工业界场景中。
PLNLP 算法 OGB 获佳绩,落地应用提升用户体验
在比赛中,微信支付与微信看一看 Embedding 联合团队根据边预测的特性,提出了一种更优的图神经网络边预测模型的学习算法,PLNLP。该算法通过利用 Pairwise Learning to Rank 的思路而非传统的二分类思路,对图神经网络边预测模型进行参数优化学习,并基于 EmbedX 大规模表示学习框架,实现了 PLNLP 算法的分布式版本,能够支持在十亿级节点,千亿级边的图数据上训练模型。最终在学者合作网络、学术引用网络以及药物反应网络三个数据集的边预测竞赛中,联合团队成果分列第一名、第一名和第二名。
OGB Link Property Prediction 榜单链接:Leaderboards for Link Property Prediction | Open Graph Benchmark(https://ogb.stanford.edu/docs/leader_linkprop/)
学者合作网络 (ogbl-collab) 取得第一名
药物反应网络 (ogbl-ddi) 取得第一名
学术引用网络 (ogbl-citation2) 取得第二名
据介绍,比赛中使用到的邻域编码、边预测、负采样等通用技术,已经在微信支付反欺诈、商户风控、营销发券等多个场景落地。其中反欺诈场景致力于打击欺诈交易,基于有向图、异构图等模型,挖掘用户多阶复杂关系,在线上交易风险模型应用,准确度提升 30%+。在商户风控场景下,基于半监督对比学习模型,与下游业务模型融合建模,整体模型 KS 提升 10%+。
而比赛中使用到的图模型技术均已沉淀到分布式表示学习框架 EmbedX 之中,EmbedX 在腾讯内部服务于看一看、搜一搜、视频号、微信支付、安全、微信表情、腾讯新闻、应用宝、信息安全、QQ 音乐、腾讯课堂、腾讯课堂、领航平台、Joox 音乐等多个关键业务,帮助业务大幅提升用户体验。
微信支付 × 微信看一看,组 Embedding 联合团队共研算法
OGB (Open Graph Benchmark) 是目前公认最权威的国际顶级图学习基准评测榜单,由斯坦福大学 Jure Leskovec 教授团队建立并开源,YoshuaBengio、Will Hamilton 与 Max Welling 等学术界大牛也出任 OGB 的指导委员会成员,吸引了斯坦福大学、康奈尔大学、北京大学、Facebook、NVIDIA、百度等国际顶尖高校与科技巨头参与。
该数据集涵盖了生物网络、分子图、学术网络和知识图谱等领域,且囊括了基本的节点预测、边预测、图预测等图学习任务,数据真实、极具挑战性,素有图神经网络领域"ImageNet"之称,已成为全球图神经网络研究者检验自身功力的"试剑石"。
本次参赛团队为微信支付和微信看一看 Embedding 联合团队。微信支付 Embedding 团队致力于前沿 Graph Embedding 算法的研究与落地,目前结合支付业务特性自研图对比学习、半监督 Graphsage、有向图、动态图等多个算法,基于 EmbedX 框架提供大规模训练能力。团队成果在多个业务场景落地,效果提升显著,并沉淀一系列高质量文章。
微信看一看 Embedding 团队深耕于大规模机器学习系统设计与模型应用领域。团队研发成果 EmbedX 系统不仅支持十亿级节点、千亿级边的图模型训练与推理,还支持百亿级样本、百亿级特征的传统 Embedding 模型,包括排序、召回等的训练与推理。该系统应用于微信的搜索、推荐、支付等领域,并在此过程中,研发并沉淀了一套通用可迁移的模型库。
参赛方案已整理成论文:Pairwise Learning for Neural Link Prediction
2022-05-06 15:51:27