炼数成金 门户 大数据 数据库 查看内容

腾讯云新一代企业级HTAP数据库TBase核心概念

2018-5-10 11:16| 发布者: 炼数成金_小数| 查看: 10430| 评论: 0|原作者: TBase|来自: ITPUB

摘要: 2017年,腾讯云PostgreSQL-XZ(PGXZ)正式改名为TBase,目前已经应用于政务、医疗、公安、消防、电信、金融等行业的十几家客户中。TBase以其功能强大,运行稳定以及强大的互联网基因得到客户的普遍认可。2016年,基 ...

管理 数据库 存储 安全 集群

2017年,腾讯云PostgreSQL-XZ(PGXZ)正式改名为TBase,目前已经应用于政务、医疗、公安、消防、电信、金融等行业的十几家客户中。TBase以其功能强大,运行稳定以及强大的互联网基因得到客户的普遍认可。

2016年,基于腾讯云内外的需求变化,TBase的HTAP方案开始预研,目前已应用在包括微信支付、微众银行等多个客户中。2018年4月,TBase的HTAP方案完成开发。

TBase核心概念
TBase的重要的技术特性和概念,主要包括以下几个方面:

TBase产品架构

           
集群中有三种节点类型:
Coordinator:协调节点,对外提供接口,负责数据的分发和查询规划;在功能上CN上只存储系统的全局元数据,并不存储实际的业务数据。
Datanode:处理存储本节点相关的元数据,每个节点还存储数据的一个分片。在功能上,DN节点负责完成执行协调节点分发的执行请求。 
GTM:全局事务管理器(Global transaction manager.),负责管理集群事务信息,同时管理集群的全局对象,例如序列,除此之外GTM上不提供其他的功能。

从TBase的架构可以看出如下优点:
写可扩展 (Write-Scalable ):通过部署多个CN,增加业务接入。
多主节点 (Multi-master ):系统的每个CN节点都可以发起写入操作,并都可以提供统一完整一致的数据库视图;
数据自动同步(Synchronous):对于业务来说,在一个CN节点的写入操作会立刻呈现在其他的CN节点上;
数据透明(Transparent):业务在通过CN查询数据库时,还是可以像使用普通的数据库一样编写SQL语句,不必关心数据位于具体的节点。

关键能力
HTAP能力
Hybrid Transactional/Analytical Processing,即事务和分析混合处理技术,需要一个可以同时高效处理OLTP和OLAP业务,而且兼顾易用性和低成本的HTAP分布式解决方案,并且考虑混合负载的资源隔离。如下是TBase的HTAP解决方案,架构如下:

  
TBase把HTAP分为两种场景:
CASE 1,TBase的group隔离技术,在天然支持物理隔离,发挥高效的OLAP和海量OLTP能力。
CASE 2,TBase同样支持在一份数据上同时进行OLTP和OLAP两种类型的操作,并且也达成资源的隔离的效果。

TBase的HTAP性能指标
通过标准事务测试模型TPCC的benchmark测试结果(测试中只使用了常规通用的X86服务器)系统在每分钟完成的事务量超过310万,并且系统的事务吞吐量会随着集群规模准线性提升:

    
下面这张图展示了TBase在行存储模式下和业界MPP数据仓库标杆在OLAP测试集TPCH 1T benchmark下的对比情况:
 


通过HTAP技术,业务可以在单一的TBase集群中同时处理OLTP类交易和OLAP类分析。大幅度的减少业务系统的复杂度,降低运维成本。

高数据安全
在和客户交流的过程中,多个行业的客户都提到了数据安全的诉求,TBase团队结合客户的需求和业界先进的数据库安全解决方案设计了TBase的数据安全体系,定义为MLS(Multi-Level Security)。这个体系主要包含以下几个方面:

三权分立:把数据库系统DBA的角色分解为三个相互独立的角色,安全管理员,审计管理员,数据管理员,这个三个角色之间相互制约,消除出系统中的上帝权限,从系统角色设计上了解决了数据安全问题。

强制安全规则:结合业界先进的数据库安全解决方案,TBase提出了强制安全规则解决方案,通过安全管理员制定的强制安全规则,针对不同的用户做到权限的行列混合控制,有效的杜绝数据越权查看,保证关键数据的安全性。

透明数据脱敏管理:对于金融,公安行业等对数据安全有特殊要求,会有数据脱敏的诉求,TBase针对行业痛点,做到对业务的透明脱敏。
审计能力:审计是数据库关键能力,TBase在设计的过程中,结合业界设计了自身的审计系统,做到在兼顾高精准的审计粒度的同时还能保证系统的性能,同时具备审计结果的实时通知能力。

多租户能力
TBase提供集群级和集群用户级两个级别的多租户能力。通过集群级的多租户能力,可以帮助业务快速的建立一个数据库私有云,帮助客户快速提供基于TBase的DCDB(分布式数据库)服务。集群级的多租户能力架构如下图:
    
除此之外,TBase数据库集群内部还提供基于节点组node group的集群内多租户解决方案,做到数据库集群内部的业务和资源隔离,多个业务在TBase内部相互隔离的运行。如下图所示。

结语
当然,TBase还具有很多其它特性,在此不一一赘述。正是在这些能力的支撑下,TBase对于海量数据的OLAP分析类操作更是如鱼得水。TBase马上要和大家见面了,腾讯云团队的小伙伴们非常欢迎大家的交流和使用。

欢迎加入本站公开兴趣群
软件开发技术群
兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流
QQ群:26931708

Hadoop源代码研究群
兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop
QQ群:288410967 

鲜花
1

握手

雷人

路过

鸡蛋

刚表态过的朋友 (1 人)

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-5-24 07:54 , Processed in 0.197017 second(s), 26 queries .