资讯详情

MapR意欲将SL on Hadoop推向新的高度

2017-04-25 阅读:132 来源:杭州博学信息技术服务有限公司
进入>

为了彻底摆脱管理规划的束缚并告别在内容探索前需要对输入数据进行的长时间ETL(即提娶转换与加载)任务,MapR在其Hadoop发行版中引入了ApacheDrill分布式ANSISQL查询引擎。

为了帮助用户告别一系列强度极高的数据工程处理任务,MapR日前对其Hadoop发行版进行了更新、核心内容在于引入ApacheDrill0.5。

Drill是一款开源分布式ANSISQL查询引擎,旨在进行自助式数据探索——它属于谷歌Dremel系统的开源版本,搜索巨头将其作为BigQuery服务的核心组件之一实现内部大型数据集的查询工作。ApacheDrill的既定目标是拥有扩展至上万台甚至更多服务器的强大能力,同时保证用户可以在数秒之内处理PB级别数据以及上万亿条记录信息。

Drill查询引擎拥有以下各项能力:

=在不改变原生格式的前提下进行数据探索(包括Parquet、JSON文件以及HBase表),而且无需数据库管理员的介入。

对不断变化且来自MongoDB等NoSQL数据存储体系以及在线RESTAPI的半结构化/嵌套式数据进行分析。

创建出能够同时包含多种不同Hadoop数据源的查询机制,例如文件、HBase表以及Hive表。

重复使用现有SQL技术集、商务智能工具以及ApacheHive部署方案。

“我们对此感到非常兴奋,因为它真正开启了SQL-on-Hadoop的发展新时代,”MapR公司首席营销官JackNorris表示。“其关注重点在于为Hadoop带来自助式数据探索能力,且完全无需IT部门的介入。”

这是因为Drill能够为用户带来让SQL查询直接面向多种数据格式加以运行的能力,它可以被用于对刚刚传输到的实时数据进行探索、而不再需要相关技术人员花费数周时间筹备管理规划或者设置ETL任务。通过这种方式,它成功地帮助使用者在处理多种数据源时拥有了即时性自助式数据探索方案。

“企业用户希望能够对保存在Hadoop以及NoSQL数据库当中的数据加以访问,并利用现有SQL分析技能将这种访问能力拓展到更为广泛的实际使用者群体当中,”451研究机构数据平台与分析研究主管MattAslett指出。“ApacheDrill有能力帮助用户访问Hadoop当中存储的数据,而且完全无需制定任何集中式规划。除此之外,包含嵌套与重复域等复杂数据结构的NoSQL数据集也可以得到直接使用,这在传统SQL-on-Hadoop方案当中是完全不可想象的。”

“其它任何一款SQL-on-Hadoop解决方案,无论是Hive、Tez或者其它什么产品,在运行当中都需要依赖于固定的规划与模式,”Norris同时补充称。“无论大家着眼于MapReduce、Hive或者其它任何一种SQL-on-Hadoop解决方案,都需要某种中间人机制负责处理建模、数据转换以及分析支持等任务。Drill的亮点则正在于此——可以在无需等待的前提下实现数据探索,而这无疑会让用户拥有令人振奋的速度与敏捷性优势。”

MapR公司将Drill打包塞进了MapR4.0.1版本,此版本日前刚刚闪亮登常这款Hadoop发行版最新版本对自身面向各类用例的实时处理能力进行了显著扩展,具体用例类型包括业务应用程序、交互式查询以及数据流处理等。

新版本当中还包含多套批处理框架,具体有MapReduce1.x与2.x(基于YARN)以及Spark(0.9与1.0.2版本)。它还支持五项SQL-on-Hadoop技术方案:Hive(0.11、0.12与0.13版本)、Drill(0.5版本)、SparkSQL(1.0.2版本)、Impala(1.3.1版本)并且拥有与惠普Vertica相集成的认证资质。它新增了面向HBase(0.94.21与0.98.4版本)的支持能力以及MapR-DBNoSQL技术。此外,最新的MapR还拥有三项机器学习与图形库方案,分别为Mahout(0.8与0.9版本)、MLLib(0.9与1.0.2版本)外加GraphX。

咨询400-6677-656

咨询QQ:

加载全文

免责声明:本站部分内容、图片来自用户自主上传,如果您对本站信息资源版权的归属问题存有异议,请您致信,我们会立即做出答复并及时解决。如果您认为本站有侵犯您权益的行为,请通知我们,我们一定根据实际情况及时处理。

以上是杭州博学信息技术服务有限公司为大家整理的有关MapR意欲将SL on Hadoop推向新的高度的全部内容,更多精彩请访问学习资讯新闻专栏。

相关课程

更多>
2020猎学网广告栏
申请课程免费试听名额

课程顾问24小时内联系您

你好

顾问将于24小时内联系您!

确定
在线咨询 微信咨询 立即报名
申请1对1课程顾问咨询服务
×
你好

顾问将于24小时内联系您!

确定
杭州猎学网 >杭州博学信息技术服务有限公司 >MapR意欲将SL on Hadoop推向新的高度