​ ​​ ​

​ ​

​转载请在文首保留原文出处：​​EMC​​中文支持论坛​​ ​​- ​​https://community.emc.com/go/chinese​

​ ​​ ​

​ ​

​ 今年​​4​​月，​​EMC​​正式宣布成立独立运营的子公司​​Pivotal​​。与新公司重名的产品​​Pivotal HD​​即是​​EMC​​发布的新的​​Hadoop​​发行版本，其中包含一个完全运行于​​Hadoop​​数据文件系统​​(​​HDFS)​​之上的大规模并行处理​​(MPP)​​数据库，并且与​​SQL​​整合以帮助那些不熟悉​​MapReduce​​的开发人员和分析师处理海量的数据。​

​ ​​ ​

​ ​

​Pivotal HD​​架构：​

​ ​

​ ​

​ Pivotal HD​​支持标准​​Hadoop​​发型版本的常用特性（包括​​HDFS​​、​​Pig​​、​​Hive​​、​​Mahout​​和​​Map-Reduce​​等），但又加入了一些其他的组件，具体如下面结构图所示：​

​ ​

​ ​

​ ​

​HAWQ​​：​

​ ​

​ ​

​ Pivotal​​的主要组件是​​HAWQ​​，它是一个大规模并行处理​​(​​MPP)​​数据库，借助一种动态流水线机制直接运行于​​Hadoop​​中的​​HDFS​​之上，其特性包括：​

​ ​

​·​​ ​​兼容​​SQL​​——支持各个版本的​​SQL​​，包括​​SQL92​​、​​SQL99​​和​​SQL 2003 OLAP​​等。完全兼容​​PostgreSQL 8.2​

​ ​

​·​​ ​​面向行或面向列的数据存储​

​ ​

​·​​ ​​查询优化器——查询可以运行于成千上万个节点上​

​ ​

​·​​ ​​完全兼容​​ODBC/JDBC​

​ ​

​·​​ ​​交互式查询——大数据集上的复杂查询可以以秒级或次秒级的速度解决​

​ ​

​·​​ ​​数据管理——提供了表统计和表安全等功能​

​ ​

​·​​ ​​支持存储在​​HDFS​​、​​Hive​​、​​HBase​​、​​Avro​​、​​ProtoBuf​​、分隔的文本和序列化文件中的数据​

​ ​

​·​​ ​​深度分析——包含了数据挖掘和机器学习算法​

​ ​

​ ​

​ ​

​Hadoop​​虚拟化扩展：​

​ ​

​ ​

​ Hadoop​​虚拟化扩展​​(​​Virtualization Extension)​​允许在公共云或者企业内部的​​VMware​​虚拟化平台上启用​​Hadoop​​集群。​​HVE​​让客户在访问​​Hadoop​​数据时拥有灵活的部署和高可用的架构。​

​ ​

​ ​

​可插拔的​​HDFS​​存储：​

​ ​

​ ​

​ 除了可以使用标准的​​Hadoop​​直连存储来增加存储空间，用户还可以使用​​EMC Isilon OneFS Scale-Out NAS​​存储。​​Isilon OneFS​​提供了线性加载、备份、复制、快照和弹性扩容等特性。​

​ ​

​ ​

​Pivotal HD (HAWQ)​​的优势​​：​

​ ​

​ ​

​ 据测试，​​HAWQ​​比常见的数据仓库查询工具​​Hive​​和​​Impala​​都要快上不少：​

​ ​

​ ​

​ ​

​Pivotal HD​​产品版本：​

​ ​

​ ​

​·​​ ​​Pivotal HD Enterprise:​​ ​​一个企业级的，提供商业化支持的​​Apache Hadoop​​发行版，目前客户是传统的​​Hadoop​​部署环境。​

​ ​

​·​​ ​​Pivotal Advanced Database Services:​​基于大规模并行处理的​​SQL​​处理能力，提供对​​Hadoop​​数据的相关性和分析处理能力。​

​ ​

​·​​ ​​Pivotal HD Community:​​ ​​供免费下载的​​Pivotal HD Enterprise​​发行版，供测试、教育或对​​Pivotal​​产品的评估使用。​

​ ​​ ​

​ ​

​《​​Pivotal HD Datasheet​​》​

​ ​

​《​​HAWQ Whitepaper​​》​

​ ​

​《​​Use Bid Data Technologies to Modernize Your Enterprise Data Warehouse​​》​

​ ​​ ​

​ ​

​Pivotal HD​

​ ​

​ ​