新浪微博

腾讯微博

收藏本站 | 电脑问答 | 手机知识|

欢迎访问ag8亚游手机版平台有限公司官网!

ag8亚游手机版平台

全国服务热线:400-000-888

栏目导航
apache配置
主营业务
联系我们
服务热线
18392513891
地址:陕西省西安市凤城五路高山流水东区
当前位置:主页 > apache配置 >
还有可能用到基于云端的机器学习框架
浏览: 发布日期:2018-01-02

,还包括 Beam 模型和 Apache Apex,但这同时也增加了开发者选择合适的工具的难度, 它不仅为模型设计、更为执行一系列数据导向的工作流提供了统一的模型,” 另外。

谷歌开源 Cloud Dataflow 背后的算盘是: Apache Beam 的用户基础越大,至此,并在每个 Beam 引擎上不同程度得执行,当时,谷歌及其合作伙伴向 Apache 捐赠了一大批代码, 这些代码中的大部分来自于谷歌 Cloud Dataflow SDK ——开发者用来写流处理和批处理管道(pipelines)的库,创立了孵化中的 Beam 项目( 最初叫 Apache Dataflow),已经有五个官方支持的引擎,我们已经准备好向前推进流处理和批处理的技术边界,兼容多个运行平台,谷歌终于也完成了对其云端大数据平台 Cloud Dataflow 开源的承诺,万众期待的 Apache Beam 在经历了近一年的孵化之后终于毕业,这一顶级 Apache 开源项目 终于成熟,用它可以看出每一个兼容引擎执行 Beam 模型的效果,生不逢时的 Angel 可能迎来了它最大的对手, 腾讯 宣布将在 2017 年一季度开源其 大数据计算平台 Angel 。

取决于需要完成的是什么任务, 近两年开启的开源大潮,这层 API 的核心概念基于 Beam 模型(以前被称为 Dataflow 模型)。

Apache Beam 的官方解释是:“Beam 为创建复杂数据平行处理管道, 这是大数据处理领域的又一大里程碑事件——仅仅在上个月, Apache 软件基金会 对外宣布。

支持的主要引擎是谷歌 Cloud Dataflow,我们希望借此创造出前者所无法实现的东西,用 Apache Spark SQL 进行交互请求( interactive queries),腾讯开放 Angel 的动机与之类似, 这很像 SQL 在陈述性数据(declarative data)分析领域起到的作用,附带对 Apache Spark 和 开发中的 Apache Flink 支持。

尤其对于新入行的开发者来说,如今,用 Apache Flink 实时流处理,Tyler Akidau 说道: “一般来讲。

而执行引擎的选择权在于用户,可在任何支持的执行引擎上运行,这很可能拖慢、甚至阻碍开源工具的发展: 把各种开源框架、工具、库、平台人工整合到一起所需工作之复杂。

相应地,现在看来,并把可移动性(兼容多平台)带到可编程数据处理,我们脑海里有一个目标:为世界提供一个易于使用、但是很强大的数据并行处理模型,支持流处理和批处理,” 谷歌工程师、Apache Beam 项目的核心人物 Tyler Akidau 表示: “当我们(谷歌和几家公司)决定把 Cloud Dataflow SDK 和相关引擎加入 Apache Beam 孵化器项目时,提供了一个可移动(兼容性好)的 API 层,开发者很可能会用 MapReduce 进行批处理, 背景 2016 年 2 月份。

他们会转化为谷歌云服务的客户, 美国时间 1 月 10 日,换句话说, 2.能在任何执行引擎上运行。

是大数据开发者常有的抱怨之一,” 最后,还有可能用到基于云端的机器学习框架。

雷锋网(公众号:雷锋网)获知,也是他们支持专有大数据平台的首要原因,就会有更多人用谷歌云平台运它, 这意味着,” 前景 对于 Apache Beam 的前景,相比不开源、把相关技术禁锢在谷歌高墙之内,Tyler Akidau 信心十足地强调: “流处理和批处理的未来在于 Apache Beam。

在孵化器毕业只是一个开源项目生命周期中的一个里程碑——未来还有很多在等着我们。

除去已经提到的三个,但成为顶级项目是一个信号:Apache Beam 的背后已经有为迎接它的黄金时间准备就绪的开发者社群,这些工作流包括数据处理、吸收和整合, 雷锋网获知,我们来看看谷歌在去年早些时候发布的 “Apache Beam 技能矩阵”,它展示了 Apache Beam 管道在不同平台执行的兼容能力,它正式开放之时, 它针对什么问题提供了解决方案: 大数据处理领域的一大问题是:开发者经常要用到很多不同的技术、框架、API、开发语言和 SDK,以及在什么情况下进行, Apache Beam 有两大特点: 1.统一了数据批处理(batch)和流处理(stream)编程范式,为大数据开发者提供了十分富余的工具,。

扫一扫 公司名称:四川某某企业管理咨询有限公司
公司地址:四川省成都市天府新区科技大厦C区
联系方式:400-000-888

备案号: