- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大数据分析
大数据存储技术（3）—— HBase分布式数据库
3、极易扩展 HBase 的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDFS) 。 （3）通过 Zoopkeeper 存储元数据的统一入口地址。 3、Hmaster master 节点的主要职责如下： 为 RegionServer 分配 Region 维护整个集群的负载均衡 维护集群的元数据信息 发现失效的 Region，并将失效的 为了数据的持久化和恢复； 3、HregionServer 将数据写到内存（MemStore）； 4、反馈 Client 写成功。 块，Hmaster 触发合并操作，Region 将数据块加载到本地，进行合并； 2、当合并的数据超过 256M，进行拆分，将拆分后的 Region 分配给不同的 HregionServer 管理； 3、
2K10编辑于 2025-01-22 - 来自专栏IT技术分享社区
分布式数据库基础：分布式数据库故障
分布式数据库系统常见的故障主要有事务故障、系统故障、介质故障、网络引起的故障。 事务故障：计算溢出、完整性破坏、操作员干预、输入输出报错等。
3K00发布于 2021-02-08 - 来自专栏ellipse数据库技术
分布式数据库
分布式数据库目标： 本地自治、非集中式管理、高可用性（最基本的特征） 位置独立性、数据分片独立性、数据复制独立性（分布透明性） 分布独立性、事务管理（复杂性） 硬件独立性、操作系统独立性、网络独立性、数据库管理独立性 用户无需考虑数据分片 位置透明性：用户只需考虑数据分片情况，无需考虑数据分片位置 局部数据模型透明性：既要了解全局数据的分片情况，还要了解各片段的副本复制 情况及位置分配情况 分布式查询： 用户与分布式数据库系统的接口 （2）操作的执行算法（连接操作和并操作） （3）不同场地间的数据流动的顺序。 数据独立性：在集中式数据库中，数据独立性包括两个方面：数据逻辑独立性和数据的物理独立性。 集中式数据库系统中查询代价主要是由CPU代价和I/O代价来衡量的 在分布式数据库系统中，由于数据分布在多个不同的场地上，使得查询处理中还要考虑站点处传输数据的通信代价 END
2.8K20发布于 2019-09-09 - 来自专栏idba
Postgres 分布式数据库
分布式数据库 聊起分布式数据库，大家第一印象估计是 谷歌的 Spanner ，以及 TiDB。 TBase 开源是一个值得肯定的事情，文档，社区支持等有一些列的支持动作，但是没有像某些开源分布式数据库做的那么活跃,社区，微信群，各种互联网公司试/使用，考试认证。
3.2K31编辑于 2022-05-17 - 来自专栏一英里广度一英寸深度的学习
HBase 分布式数据库
在5、6年前，我们就希望能用分布式存储和分布式数据库来替代集中存储，觉得分布式廉价，而且高可靠。 其实，分布式存储不能替代集中存储。如果你问一个老鸟，他会给你一个关键字--事务。 hbase.zookeeper.quorum","172.18.0.12"); Connection connection = ConnectionFactory.createConnection(conf); 3. Put p = new Put(Bytes.toBytes("Rose")); p.addColumn(Bytes.toBytes("grade"),null,Bytes.toBytes("3" + "====值:" + new String(keyValue.getValue())); } 列：course:math====值:90 列：grade:====值:3
3K20发布于 2018-09-12 浅谈分布式数据库
1️⃣ 分布式数据库概念分布式数据库（Distributed Database） 是指数据库系统的数据存储在 多个物理节点上，这些节点通过网络协作，共同提供数据存储、查询和管理服务。 核心思想：数据 逻辑上统一、物理上分散与传统单机数据库相比：可处理更大规模的数据支持高并发访问提供容错与高可用性2️⃣ 分布式数据库特点特性说明数据分布数据按一定规则分片或复制到多个节点并行处理多节点同时处理查询和事务 ，提高性能高可用性节点故障时，其他节点仍可提供服务扩展性可水平扩展，增加节点提高容量和吞吐量一致性数据的一致性和完整性需要特殊机制维护3️⃣ 分布式数据库原理3.1 数据分布策略水平分片（Sharding ：CP 系统：保证一致性和分区容错（如 HBase）AP 系统：保证可用性和分区容错（如 Cassandra）3.3 分布式事务保证跨节点操作的一致性常用协议：两阶段提交（2PC）三阶段提交（3PC）Paxos / Raft 共识算法4️⃣ 分布式数据库分类类型说明示例关系型分布式数据库支持 SQL，分布式事务TiDB、CockroachDBNoSQL 分布式数据库支持键值、文档、列族，水平扩展强MongoDB
61810编辑于 2025-09-02- 来自专栏pangguoming
浅谈分布式数据库
文章集中整理总结mysql分库分表开源产品，分布式数据库的设计，以及实际应用案例等相关内容，部分附上本文作者实际应用过程中的理解。 本文感谢sjdbc，mycat，姜承尧，林涛等文章提供的精彩介绍。 3) 分组(group)，分组解决可用性问题，分组通常通过主从复制(replication)的方式实现。(各种可用级别方案单独介绍) ? ---- 3、 分片 3.1 水平拆分，垂直拆分都是什么？ ? 分区表？1)若不走分区键很容易出现全表锁，并发上来后简直是灾难。2)自己分库分表，自己掌控业务场景、访问模式，可控。 3) 思路大概是(select … from order where … -> 先拿到db_x的source 然后 select … from order_y where …) 你想这么干？ 3) 半同步复制 半同步复制工作的机制处于同步和异步之间，Master的事务提交阻塞，只要一个Slave已收到该事务的事件且已记录。
4.3K22发布于 2018-09-19 - 来自专栏用户8715145的专栏
分布式数据库的含义与腾讯云分布式数据库排名
分布式数据库作为云数据库的其中一种类型也是非常受欢迎的。现在我们就来讲讲分布式数据库的含义与腾讯云分布式数据库排名。 分布式数据库的含义 分布式数据库其实也可以说是非关联性数据库，也就是数据之间不存在二维表格的关联性的。 分布式数据库是通过将不同的数据整合在一起的数据库，而且它的表现形式也是各异的，有图文的形式，有表格的形式，有游戏的形式等等。 分布式数据库就是一个可以将不同地点的很多台计算机以网络的形式产生关联，然后共同组成一个完整的大型的数据库。因此分布式数据库非常的适用于大数据的公司，像是金融，电信，电商等行业。 腾讯云分布式数据库排名 腾讯云TDSQL数据库是腾讯自己研发出来的一款公布式数据库，在分布式数据库排名前三，属于云原生数据库。TDSQL数据库的深度性能比常见的MySQL数据库要好。
2.6K30发布于 2021-10-18 - 来自专栏IT从业者张某某
分布式数据库-课程总结
能连接，能完成CRUD 能完成适当的高级查询就可 综合案例:大家去完成下 HBase列族数据库 简介 Hbase-Hadoop Database是一个高可用、高性能、面向列、可伸缩、实时读写的分布式数据库 ), math DECIMAL(3,1), english DECIMAL(3,1) ); hbase #创建一张名为Student的表，包含基本信息（baseinfo）、学校信息（schoolinfo :age','24' put 'student', '3','schoolinfo:name','yale' put 'student', '3','schoolinfo:localtion','New # 获取指定行中指定列族下所有列的数据信息 get 'student','3','baseInfo' # 获取指定行中指定列的数据信息 get 'student','3','baseinfo:name ' 删除指定行、指定行中的列 # 删除指定行 delete 'student','3' # 删除指定行中指定列的数据 delete 'student','3','baseinfo:name' get查询
79310编辑于 2023-12-18 - 来自专栏MyTechnology
分布式数据库CAP原理
3、I (Isolation) 独立性 所谓的独立性是指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。 因此牺牲C换取P，这是目前分布式数据库产品的方向。
2.1K20发布于 2020-07-31 - 来自专栏用户8715145的专栏
分布式数据库有什么用？分布式数据库的总体特征有哪些？
以及分布式数据库的总体特征有哪些？ 分布式数据库有什么用 分布式数据库属于数据库的一种，其基本作用就是能够储存海量的数据，分布式数据库属于最新的数据库技术和新型网络技术结合的产物，除了能够储存数据外，还能够进行数据的管理和维护。 分布式数据库的总体特征有哪些 知道分布式数据库的总体特征，才能够对分布式数据库有更深入的了解，那么分布式数据库的总体特征有哪些呢？ 1、数据具有较高的独立性。 2、能够进行数据的复制分布式数据库会进行数据的复制，这样可有利于性能的提高还能够满足不同用户的需求，假如某个服务器出现了故障，其他服务器上还会有数据的备份，所以不必担心会产生问题。 3、更具备可靠性。 上面分别为大家介绍了分布式数据库有什么用以及分布式数据库的总体特征有哪些，分布式数据库是相对于集中式数据库而言的和集中式数据，各相比分布式数据库分别有透明性、可靠性、可复制性等特点。
3K10发布于 2021-10-18 - 来自专栏PostgreSQL技术分享
PostgreSQL：分布式数据库简史
大数据催生分布式数据库的诞生和发展 分布式数据库的诞生 谈到分布式不得不提下Google这家伟大的公司，2006年google发了3篇论文，也是被认为的大数据3驾马车：分布式文件系统：GFS；分布式KV 分布式数据库有一个统一的数据库管理系统来进行管理，称为分布式数据库管理系统。 （3）TCC（try/Confirm/Cancel） TCC 其实就是采用的补偿机制，其核心思想是：针对每个操作，都要注册一个与其对应的确认和补偿（撤销）操作。 （3）去中心化的分布式数据库 这种分布式数据库为了平滑的扩缩容也采用了存储和计算分离的架构，说到去中心化这一点就要提到share nothing，分布式集群的每个节点都是独立节点，通过multi-paxos 分布式数据库的未来 今年参加中国数据库大会（DTCC）发现分布式数据库都在讲HTAP+云原生。
2K31编辑于 2022-02-04 - 来自专栏个人开发
聊聊主流的分布式数据库
后来分布式数据库逐渐成为解决数据一致性的选择，目前分布式数据库产品已经比较成熟，支持ACID事务，本文就来聊一聊分布式数据库。 3.AntDB 由亚信科技开发，基于开源PostgreSQL内核研发的，主要特点是对Oracle兼容性高，分布式事务支持2PC协议和MVCC，集群支持动态扩展。 开源地址： https://gitee.com/adbsql/antdb 4.GoldenDB 由中兴通讯研发，跟前面3款不一样的是，这款数据库以mysql为内核构建的，按照官方的描述，这款数据库对金融行业的支持比较好 也是非常有名的一块NewSQL数据库，由PingCAP研发，支持HTAP，支持线性一致性，一个亮点是兼容mysql协议和生态，github地址如下： https://github.com/pingcap 3. amazon推出Aurora分布式数据库并不算是上面2种架构的一种，并没有解决分布式场景下的写入压力，但也是一种分布式数据库的风格。
2.5K21发布于 2021-01-05 - 来自专栏数据和云
史上最全分布式数据库概述
分布计算主要体现在客户机/服务器模式的分布式数据库体系结构两个方面。 DTC 2019 之数据库技术实战线上峰会明日开始，本期请到中国银联团队主管周家晶来分享“中国银联自研分布式数据库实践” 详情：中国银联自研分布式数据库实践 - DTC数据库技术实战线上峰会 报名链接 分布计算主要体现在客户机/服务器模式和分布式数据库体系结构两个方面。 分布式数据库是数据库技术与网络技术相结合的产物，在数据库领域已形成一个分支。分布式数据库的研究始于20世纪70年代中期。 20世纪90年代以来，分布式数据库系统进入商品化应用阶段，传统的关系数据库产品均发展成以计算机网络及多任务操作系统为核心的分布式数据库产品，同时分布式数据库逐步向客户机/服务器模式发展。
7.3K61发布于 2019-06-18 - 来自专栏架构驿站
分布式数据库Couchbase 集群迁移
本文主要介绍分布式数据库Couchbase 集群迁移方案之CBBACK/CBRESTORE ---环境描述：CentOS release 6.7 (Final) ---源主机IP：10.10.10.10 /cbbackup -m full --single-node -t 3 http://10.10.10.10:8091 /home/ubuntu/ -u Administrator -p passwor //--single-node 参数表明：执行单节点的备份操作 //-t 3参数表明：当前执行备份的线程个数为3 . bucket: did_devices, msgs transferred /cbrestore -b xwf_events -B xwf_events --from-date=2014-08-01 --to-date=2015-08-01 -t 3 /home/ubuntu/ /cbrestore -b xwf_events -B xwf_events --from-date=2014-08-01 --to-date=2015-08-01 -t 3 -v /home/ubuntu
1.3K20编辑于 2021-12-09 - 来自专栏用户8715145的专栏
分布式数据库系统是什么？分布式数据库系统具有哪些优点？
以及分布式数据库系统主要有哪些优点？ 分布式数据库系统是什么 分布式数据库系统和集中式数据库系统是相对的，是一种计算机技术和网络技术相结合的新兴产物，该系统主要包括分布式数据库管理系统和分布式数据库两大类。 分布式数据库系统具有哪些优点 1、结构体系更为灵活，分布式数据库和集中式数据库不一样，所有的信息都储存在不同的物理节点上，因此其结构更为灵活。 2、更能够适应分布式的管理应用分布式数据库系统的数据并不是集中的而是分布式储存的，所以如果管理较为分散的话，则更适用于这种系统。 3、系统可靠性更强。 以及分布式数据库系统主要有哪些优点，分布式数据库系统和集中式数据库系统相比，更适应于现在的大环境，也是公司管理数据的较优之选。
2.1K30发布于 2021-10-18 - 来自专栏杨建荣的学习笔记
分布式数据库的几个事实
虽然Oracle的技术储备并不足够，这并不能阻止大量的分布式数据库蜂拥而出。目前市场上的分布式数据库已经有上百个了，在这些产品之间做选型确实是一个十分具有挑战的工作。 通过这个例子，我想要表达的意思是，我们想选择适合于我们应用场景的分布式数据库，必须首先了解这个分布式数据库的存储引擎，以及存储引擎的特点是什么。 在分布式数据库应用场景下，乐观锁是最好的选择，在选择分布式数据库的时候，你一定要先相信这一点。 现在的很多分布式数据库都有执行计划预览器，这一点十分好，可以让我们可以找到某个SQL语句执行效率不佳的原因。 最后一点是你的应用场景是不是真的需要分布式数据库。 在和我交流过的客户中，绝大多数客户的分布式数据库的选型需求其实并不充分，他们完全可以再仔细思考一下，是不是必须使用分布式数据库。
1.7K20发布于 2021-09-02 - 来自专栏Lansonli技术博客
HBase分布式数据库入门介绍
3）实时监控RegionServer的上线和下线信息,并实时通知HMaster。 4）存储HBase的Schema和table元数据 Master 1）为RegionServer分配Region 2）负责RegionServer的负载均衡 3）发现失效的RegionServer并重新分配其上的 3、MemStore中的数据被Flush成一个StoreFile4、当MemStore达到阈值后把数据刷成一个storefile文件，当多个StoreFile文件达到一定的大小后，会触发Compact合并操作 2、根据namespace、表名和rowkey根据meta表中的数据找到写入数据对于的region信息3、找到对应的RegionServer，查找对应的Region，先从Memstore中找数据，如果没有再从 总的来说，HBase是一个高性能、高可靠性、可扩展的分布式数据库，适用于处理海量非结构化或结构化数据，并能够满足近实时的读写管理需求。
2K10编辑于 2024-06-09 - 来自专栏韩锋频道
分布式数据库评估维度分析
特别是随着数据规模、计算能力等需求，分布式数据库产品成为很多企业的新宠。那么这类数据库较传统数据库又有何差异？在数据库选型中，需要注意哪些方面？ 本文尝试描述数据库（特别是分布式数据库）选型需考虑维度，希望帮助企业可以做出最适合的选择。 1. 数据库评估维度概览 人生基本上就是两件事，选题和解题。 3. 评估维度：数据对象篇 人生基本上就是两件事，选题和解题。最好的人生是在每个关键点上，既选对题，又解好题。人生最大的痛苦在于解对了题，但选错了题，而且还不知道自己选错了题。 序列：对分布式数据库，需提供全局唯一、单调递增的序列对象。 视图：对分布式数据库，需提供满足全局性、一致性的视图访问。扩展要求，可提供参数视图、动态视图、物化视图等能力。 节点：分布式数据库的不同节点（如计算节点、存储节点），支持白名单信任策略，复合要求的地址才能连接访问。 ❖ 安全管理 密钥管理 安全告警 安全审计：支持安全审计的长久保存。 8.
1.8K40发布于 2021-04-09 - 来自专栏苏强的专栏
腾讯云分布式数据库（DCDB）
导语 DCDB 是部署在腾讯云公有云上的一种兼容MySQL协议和语法，支持自动水平拆分的share nothing架构的分布式数据库。 分布式数据库即业务获取是完整的逻辑库表，后端却将库表均匀的拆分到多个物理分片节点。 分布式数据库即业务获取是完整的逻辑库表，后端却将库表均匀的拆分到多个物理分片节点。 3.DCDB解决能够帮您解决什么问题 3.1 单机数据库到达瓶颈 面对互联网类业务动辄百万级以上的用户量，单机数据库由于硬件和软件的限制，数据库在数据存储容量、访问容量、容灾等方面都会随着业务的增长而到达瓶颈 3.关联系统是否做好准备。 4.您的业务重心是什么，投入资源来保障开源产品的资源管控和生命周期管理、分布式逻辑、高可用部署和切换、容灾备份、自助运维、疑难排查等是否是您们的KPI。
4.4K21发布于 2017-05-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号