快捷搜索:

用 AI 给《权游》“龙妈”算命?大数据+深度学习

《权力的游戏》第八季终于开播了,作为最后一季,剧中每个角色的命运当然是大家关注的焦点。龙妈能一统天下吗?她和雪诺的关系会怎么发展?这一季里,又有哪些主要角色会凉凉?虽然刚刚播出了第一集,但有人已经等不及了。这不,慕尼黑工业大学一帮学生开发了一个大数据结合深度学习的项目,利用 AI 对角色的死亡率进行预测,结果显示几位主角中,龙妈可能活到剧终,三傻(珊莎)可能最快领便当。

在这个项目中,需要把来自多个资源的数据集成到一个中央数据库,为项目其他应用和可视化工具提供服务。实际上这是很多 AI 项目都需要解决的问题,而现状是:人工智能训练、部署中,存在多种数据存储与多类数据流,具体处理时出现的割裂情况降低了工作效率,亟需统一的基础设施架构,这样才能加速 AI 的训练与部署。

在帮助众多合作伙伴成功部署、实施 AI 项目的过程中,英特尔开发并开源了Analytics Zoo 项目。作为端到端的、统一的数据分析和人工智能平台,它将Spark、TensorFlow、Keras和BigDL程序无缝集成到一个流水线中,可以透明地扩展到大型Apache Hadoop/Spark集群中,用于分布式训练或推理,而无需额外的GPU基础设施。

Analytic Zoo 对用户有哪些好处?英特尔高级首席工程师、大数据技术全球CTO戴金权这样解释:

★ 第一,对于大多数用户而言,在生产系统当中,基于Apache Spark的大数据集群仍然是生产数据以及包括大量硬件资源的聚集地,Analytic Zoo 可以更高效利用这些生产数据以及硬件资源,支持新的人工智能应用。

基于Analytics Zoo 和 Apache Spark的简历推荐系统

★ 第二,要构建工业级端到端的大数据分析+人工智能应用,是非常复杂的流水线或者工作流,包括数据的收集、导入、处理、特征的提取、各种模型的构建训练,到最后的部署、推理等等。Analytic Zoo帮助用户构建出这个流水线工作流,包括端到端的大数据处理分析和机器学习,极大提高了用户的开发效率、部署效率和运维效率。

人脸识别、金融交易、人员招聘随你选!

在不同行业和场景,Analytic Zoo 都得到了实际应用。

腾讯使用Analytic Zoo辅助人脸识别系统完成身份识别。该系统需要处理多维度的信息,而Analytics Zoo读取和处理存放在Hadoop/Spark集群上的数据非常方便,而且做训练和预测并不需要对集群有特殊的改动或配置。此外,Analytics Zoo还有很多预定义的模型可以开箱即用,诸多示例让腾讯很容易建立适合他们场景的深度学习模型。目前,模型的表现让人满意,腾讯正在和一些居民小区共同探索让这个模型落地,提高身份识别准确率,使门禁系统更加有效,将来类似的系统也可用于其他安防场景。

全球知名的支付解决方案提供商 MasterCard 使用 Analytic Zoo 处理海量的消费者交易历史数据,生成用户商品倾向模型,从而服务于推荐系统。建立在 Analytics Zoo 之上,MasterCard 开发并评估了两种深度学习模型。相比传统的机器学习算法,这两种模型显著提高了推荐的质量并简化模型训练程序,精准度提升了 20% 左右。因此,MasterCard 借助 Analytic Zoo 构建了出色的推荐系统,加强了 MasterCard 的营销和个性化能力。

将深度学习模型与ALS模型进行比较

Talroo 是北美知名的招聘解决方案提供商,借助积累的海量数据,根据求职者输入的关键词,通过搜索去匹配和推荐工作,每个月Talroo都会处理百亿条招聘广告和十亿条工作查询。为了提供更精准的职位推荐功能,Talroo 使用Analytic Zoo,建立了一个完整的数据处理流程,整个流程包括了数据采集、 特征提取、 推荐模型的训练和评估。训练结果是:简历推荐的相关性提升了10%,准确率提升了6%。类似的基于深度学习和丰富内容的推荐系统也可以应用到在其他场景中,比如Web搜索和电子商务,从而发挥关键作用。

a) 准确率

b) MRR

NCF 推荐模型预测和搜索推荐对比

不光有上面这些案例,美的、宝信软件、世界银行等企业和机构也都使用了Analytic Zoo,辅助他们的大数据+人工智能项目。不知道忙着拍电视剧拖更许久的马丁大叔,是不是会考虑用人工智能,帮助自己把《冰与火之歌》写完,跟《权力的游戏》最后一集大结局同时发布?

责任编辑:何周重

您可能还会对下面的文章感兴趣: