【互联网公司运维咋样】图计算与机器学习结合 实现更佳人机交互

发布时间:2020-03-29

近日,体系结构顶级会议ASPLOS首次在中国举办,阿里巴巴副总裁、阿里云首席科学家周靖人发表主旨演讲,介绍了阿里巴巴云的大数据和AI计算平台,以及其中广泛的产品和服务。同时透露阿里接下来将在图计算和大规模机器学习领域进一步发力。

阿里在流计算方面突破

随着物联网传感器、移动应用和在线服务的普及和广泛应用,越来越多的数据以流的形式源源不断的产生。基于数据流的实时分析变得越来越重要,例如实时化的商业决策依赖高时效性的报表,在线服务优化需要动态捕捉用户行为等。这一系列应用的背后离不开大规模流计算平台的支撑。从系统架构角度,海量数据流输入需要大规模集群,7x24不间断地连续计算,同时满足高吞吐和低延时。大规模集群中各种软、硬件故障和网络异常,以及输入流量和数据的动态变化等,都会给流计算带来极大的挑战。阿里大数据平台在2016年双十一支撑了每秒近1亿日志事件的计算峰值,在6小时内成功处理了100PB的数据,在这一方面经验颇丰。

阿里在流计算方面突破

演讲中,周靖人以容错为例介绍了阿里系统设计中的一些关键技术。所谓容错,就是当计算结点发生故障时,由于数据流的连续性,对上下游都会产生影响,同时计算状态也会丢失。相比离线计算,复杂的系统依赖使得如何自动恢复流计算过程中的错误,成为关键挑战。

周靖人介绍说,业界和开源的流计算系统,往往以单一容错策略为基础来设计系统,如输入重算、全局快照和mini-batch。而真实场景中的大规模流计算应用,往往由多个相互关联但对计算吞吐和延时要求不尽相同的部分组合而成。例如某个高吞吐的输入流和按小时更新的数据集合之间的关联计算。由此对不同部分的容错需求就需要相应采用不同的策略,而如何在同一系统设计中允许组合不同的策略,是问题的关键。阿里在这方面做了很多创新的工作,例如在上下游之间建立虚拟管道抽象,将容错设计和正确性分析与系统实现、优化机制解耦。不但降低了系统的复杂性,还允许系统根据场景,灵活实现和组合多种策略,应对大规模集群中各种复杂情况。

报告显示,截至2016年12月,我国网民规模达7.31亿,普及率达到53.2%,超过全球平均水平3.1个百分点,超过亚洲平均水平7.6个百分点。中国网民规模已经相当于欧洲人口总量。

图计算3大挑战

试用期的数据显示,人工智能精准医疗平台有效降低了50%的误诊率,同时提高了3倍的诊断效率,且平台还拥有一键式深度学习建模功能。

在主办方的邀请下,美国加州江俊辉财长、比弗利山市、安大略市、约巴林达市等数十位美国市级政要参加,而这些城市也正是乐视“以好莱坞文化产业和硅谷科技产业”为核心推动其生态落地的重点区域。

DATA备受瞩目的一个重要原因或与近年来频发的移动网络安全问题有关,近年来各类照片、邮箱用户资料泄露等事件促使人们对手机安全格外关注。而对于企业级产品而言,系统安全和隐私数据安全都更加重要。DATA的首批用户定位即是中国1500家大型政商企业及各大机关,DATA云端控制终端保证了最优的安全解决方案。

此外,金立官方此前也向《证券日报》记者否认了刘立荣在重组中出局的可能性,金立方面表示,“不可能出局,因为刘立荣是金立的灵魂人物,融资这件事情都是他亲自在谈的。”

其中省级直控分销平台下面设有众多的经销商,据胡才波介绍,3月,江西省级直控分销平台制定了2500万元人民币任务量,其中,胡才波的长宏通讯占据约35%的市场份额,那么,长宏通讯的任务量就是875万元(2500万元×35%)。

据周靖人介绍,图计算是阿里关注的重要技术之一,可以将电商平台、用户产品、支付宝账户等大量信息作为节点来建模处理,基于此可以产生很丰富的分析场景,当前图计算已经在阿里搜索推荐、反作弊、知识图谱等领域大规模应用。

周靖人指出,由于实体模型中,存在许多关系以及数十亿的结点和边,并且以很快的速度动态更新,实时并发更新图数据的同时进行复杂的图分析是留给工业界和学术界的课题。具体来说存在3个方向的挑战。

挑战1:图可视化,即如何有效地将图背后的特征和信息展现出来,更好地与人交互,辅助推理、分析和决策。

2017年全国电子信息行业工作座谈会4日在南京举行。中国工业和信息化部副部长刘利华说,2017年是实施“十三五”规划的攻坚之年。全行业要集中优势资源,持续推动核心技术发展,守住产业安全和国家信息安全保障体系的底线。

索尼爱立信首席执行官小宫山英树(Hideki Komiyama)在接受路透社采访时称,他预计全球手机市场从2009年第三季度或者第四季度开始将增长。但是,现在很难说他的公司是否需要额外的资金。

挑战2:模式匹配,根据业务的特征,在复杂关系网络中定义并识别核心模式,并在大规模图中实现快速匹配。常用的场景有反欺诈、风险控制和ID映射等等。

挑战3:处理快速变化的图,也就是当图节点和边动态更新下的图计算问题。

此外,如何将图计算和机器学习结合,利用人的在线行为模式来进一步提高推荐、搜索等效果,也是阿里技术人员正在解决的难题。

周靖人认为,阿里机器学习的优势来源于对亿万数据样本和特征的高效利用,阿里的服务器架构就是为了处理如此庞大的模型和数以亿计的参数而开发的。“目前阿里大规模机器学习平台,可以统一支持深度学习模型训练以及模型更新,此外我们也建设了CPU、GPU、FPGA异构计算平台,可以针对不同业务特点做机器学习的计算优化”。

其中,手机网民6.95亿,增长率连续三年超过10%。移动互联网发展推动消费模式和经济业态不断创新变化。

雷建威认为,目前不少酒店为拉客源宣称免费代驾,但其成本转移到酒菜中,形成乱收费现象。同时,代驾人员资质无标准,无任何监管体系,代驾服务的安全性难以保障。“不少人以个人名义在网上发布代驾信息招揽,他们有的是出租车司机,有的是个体经营者,代驾只是他们的兼职。”这些人没有加入任何代驾公司,人员素质参次不齐,松散经营,既无企业监督,更不受政府监管,服务质量及安全均无法监控。据记者了解,在娱乐场所周边守候的“代驾员”很多不是来自代驾公司,当客人咨询是否专业时,这些“代驾员”大多只说“老司机了,放心吧”等来降低客人的疑心。

据知情人士透露,阿里正在和知名高校在图计算和大规模机器学习领域搭建合作平台,希望和学界一起推动这些领域研究的快速发展。外界分析,这也是阿里此前公布的“NASA”计划中的重要技术布局之一。

互联网金融创业方向 互联网金融发布会 活动主题 徐州 移动互联网

图文推荐

补贴细节未出台 消费者称以旧换新限制条件

在家电“以旧换新”政策具体补贴细则暂未露面,家电厂商在翘首以待中提前争食这一潜在市场,各种企业版的“以旧换新”活动层出不

互联网 2020-03-29

陈天桥全娱乐产业链布局初成:不缺钱缺品牌

“他迟早会去做主题公园!”——当昨日盛大网络董事长陈天桥神秘地公布他并不神秘地组建影视公司计划时,一位资深分析师这样说。

互联网 2020-03-29

人工智能识别植物准确率高达80%

一篇发表在最新一期《进化生物学》杂志上的论文称,用成千上万份标本图像“训练”过的计算机算法,已经能自动识别被压制的、干燥

互联网 2020-03-29

微软学会务实 周四将低调发布Window

据国外媒体报道,种种迹象表明,微软已决定放弃奢华的排场,低调发布Windows7。微软周四将正式发布Windows7,发

互联网 2020-03-29

助力环保 小米启动三月“绿色服务月”专属

小米通过全国500余家授权网点推出2017年的专属服务月活动。本次活动覆盖31个省份,318个城市,并且是首次将售后服务

互联网 2020-03-29

中国电信要客灾备中心青岛基地揭牌(图)

该中心主要面向政府、金融、企业、医疗等重要客户,提供从咨询、设计、实施到运营的全流程智能化灾备运营服务。客户入驻该中心,

互联网 2020-03-28

上网时间不是诊断唯一标准 40小时定网瘾

之前有“每周上网40小时以上即可认为是网瘾”的说法;昨日,市精神卫生中心成瘾专家张尧称,网瘾诊断标准国家尚在制订中,40

互联网 2020-03-28

微软裁员5000的真正原因:上网本是罪魁

据国外媒体报道,IT分析师普莱斯顿·格瑞勒(PrestonGralla)日前指出,微软裁员5000人的真正原因不是经济低

互联网 2020-03-28

滴滴发力智慧交通 收集司机驾驶数据为无人

无人驾驶已经成为谷歌、苹果、百度等众多科技公司关注的热点领域,滴滴也不例外。近日,滴滴高级副总裁章文嵩表示,目前,滴滴已

互联网 2020-03-27

中移动断臂扫黄日损千万 联通电信依旧按兵

中国移动掀起的“扫黄风暴”呼啸推进,中国联通和中国电信仍未公布具体措施,但这两家公司旗下的多家接入商又被曝光,手机WAP

互联网 2020-03-27