302 Found

Found

The document has moved here.


302 Found

Found

The document has moved here.

登录 | 注册

Hi,欢迎向Builder投稿、爆料

稿件可以直接投递到:builder@zdnet.com.cn,请先阅读投稿需求



302 Found

Found

The document has moved here.

当前位置: 首页 > 数据库开发 > 大数据时代能否衍生出新型数据库技术

大数据时代能否衍生出新型数据库技术

Builder开发者在线 作者: 张德东【原创】 2013年03月15日 评论(4)
关键词: 新型数据库 大数据 2013 QCon 数据库
本文摘要

有人说70-80年代就有了NoSQL技术,在传统企业应用的场景下是不是一个倒退呢?企业用户是否要一窝蜂追随Hadoop/NoSQL?大数据时代引发数据处理架构的变革,尤其是企业用户,行业的技术大思路应该由“一种架构支持所有应用”转变成“多种架构支持多类应用”。

Builder开发者在线 (文/张德东) 编者按:有人说70-80年代就有了NoSQL技术,在传统企业应用的场景下是不是一个倒退呢?企业用户是否要一窝蜂盲目追随Hadoop/NoSQL?大数据时代引发数据处理架构的变革,尤其是企业用户,行业的技术大思路应该由“一种架构支持所有应用”转变成“多种架构支持多类应用”。

有一个笑话是“石器时代的结束并不是因为地球上没有石头了”,同样,数据分析挖掘的出现并不是因为数据采集无用武之地了,而是采集的数据内包含着巨大的价值和信息有待去开采。互联网、移动设备和物联网催生了大数据时代的产生,同时由专用设备数字化趋势而产生的数据来源呈现多样性,人机会话、机器产生和设备产生等,这些结构化、半结构还是非结构的数据, 由四个V(Volume、Velocity、Variety和Value)主导的大数据出现了数据大集中趋势。

新型数据库技术呼之欲出

政府、企业做大数据是趋势,正是因为云计算才让做“大数据”成为可能。在大数据的这些需求推动下,数据库行业进入了新一轮的创新。基于大数据和云计算需求,数据库未来面临四大发展趋势:1.对于全数据类型的支持;2.更大规模MPP分布并行和数据管理集群技术;3.大数据一体机产品会越来越多;4.跨平台融合应用。

一个不容忽视的现象是传统关系型数据库在扩展与并行方面还有待提高,由于关系型数据库的局限,其对海量数据的处理限制了其应用。非关系型数据库NoSQL技术虽然其本身的非线性、分布式、水平可扩展,非常适合云计算和大数据处理,但应用趋于简单化,Hadoop在面对传统关系型数据复杂的多表关联分析、强一致性要求、易用性等方面,与分布式关系型数据库还存在较大差距,在解决行业大数据应用问题方面明显存在不足。

新型数据库技术需要基于云架构,在保持关系型模型的基础上,对存储结构、计算架构和内存使用等技术核心要素进行深度改变和创新,其在传统数据库基础上支持Shared-Nothing集群,简单的说,shared nothing architecture是一 种分布式计算架构,这种架构中不存在集中存储的状态,整个系统中没有资源竞争,这种架构具有非常强的扩张性,在web应用中广泛使用,能提高系统伸缩性。


新型数据库技术理论基础

谈到大数据不能不谈到Stonebraker教授,他是数据处理架构的变革理论的奠基者,基于Stonebraker教授的论文,传统数据库的基本架构是30年前以事务处理为主要应用设计的。大数据的主要应用是分析类的,应采用新的技术架构。行业的技术大思路应该由“一种架构支持所有应用”转变成“多种架构支持多类应用”。

大数据时代能否衍生出新型数据库技术

 

哪些公司是新型数据库技术产品的拥有者

不久前,Google发表论文介绍了F1/Spanner关系型数据库(未开源),F1作为新型数据库,是一种混合型数据库融合了BigTable的高扩展性和SQL数据库的可用性和功能性。

大数据时代能否衍生出新型数据库技术

大数据时代能否衍生出新型数据库技术

 

新型数据库技术特点

从以上可以看出,无论是EMC的Greenplum、南大通用的GBase 8a MPP Cluster、HP的Vertica、SAP的Sybase IQ和HANA,还是微软不久要推出的PDW,  都采用了列存+MPP架构。列存储技术有以下特点:
• 表的每一列物理上分开存储
• 每一列是以数据包(DC)为单位组织的
• 只有访问查询所涉及的列产生IO
• 查询没有涉及的列不需要访问,不产生IO
• 表列数越多,列存I/O 效率越高,越有性能优势

列存优势:查询统计分析、大数据增删改,只访问查询涉及的列,大量降低I/O,数据类型一致,方便压缩。

  • 转发 腾讯微博 推荐到豆瓣豆瓣 人人网 网易
  • 本文关键词: 新型数据库 大数据 2013 QCon 数据库
  • 邮件订阅

订阅builder.com.cn技术邮件

《应用开发管理周刊》

邮箱地址:
  • 热门评论
  • 推荐