- 综合排序
- 最热优先
- 最新优先
云原生架构助力《元梦之星》实现百万核集群高效稳定运营
应对超大规模游戏集群的管理困境 游戏《元梦之星》上线面临海量用户访问和复杂业务架构的双重挑战。其业务架构包含大厅服、对战服、UGC内容平台等50多个服务模块，在全球多地多区域部署，形成超大规模集群。 具体瓶颈体现在： 发布与运维复杂： 需管理10大集群、3万多个Pod实例，传统运维方式难以应对快速发布、扩缩容需求。 基于腾讯云TKE的容器化部署解决方案 项目采用腾讯云原生技术栈，构建了一套高效的运维体系： 基础设施： 核心业务部署于腾讯云容器服务TKE，实现多地域多集群的统一管理。 扩缩容能力： 最快可在5分钟内完成集群扩缩容；具备1天内完成百万核级别快速部署扩容的能力。 规则管理： 利用Ingress插件自动化管理3-4万条流量规则，实现10分钟内完成规则上下架。 系统稳定性： 业务上线九个月无任何故障，稳定运营至今，集群规模超过百万核心。 “基于云原生的TKE运维平台助力业务多地域多集群一键发布。”
8310编辑于 2026-05-30百万核集群的零故障运营：《元梦之星》基于云原生架构的高效上线实践
直击百万核集群并发与跨地域调度的效能瓶颈 在超大规模游戏首发与长线运营中，业务面临着首发预约量大、在线并发极高、流量交互密集的极端挑战。 为支撑业务需求，底层基础设施必须满足 超百万核 的资源分配与多地域部署，同时需要承载 1Tb级别外网流量 与 3T同城跨机房内网带宽。 重塑超大规模集群的部署时效与业务连续性 通过架构重构与组件优化，业务实现了多项核心运维指标的量化跃升，整体更新时间效率最高提升 90%，并在架构的高弹性与轻量性支撑下，保障了超大规模业务的极速运转： 百万核极速交付 ：在极短的上线筹备期内，依赖云原生TKE特性，仅需 1天内 即可完成 12大集群、百万核级别 的机器就位与部署扩容。 腾讯云TKE为业务提供了超越百万核级别的横向扩展能力与多集群自动化统管接口；底层存储（CFS/SSD）与网络（CDN/DNS）的性能红利，直接抹平了传统架构下的IO与带宽瓶颈。
5700编辑于 2026-05-30元梦之星基于腾讯云构建百万核级集群的高效运维与稳定保障体系
应对超大规模游戏集群的运维与交付压力 在游戏首发及长期运营过程中，面对超大规模集群管理，业务需解决快速交付、发布、更新及扩缩容的效率问题。 合作模式： 依托腾讯云多地多区域资源，实现 TKE多地域多集群 统一管理，支持 超百万核 级别的资源调度。 量化运维效率与业务稳定性表现 基于上述架构优化，业务在部署效率、故障恢复及稳定性方面取得以下具体指标： 交付与扩容： 基于架构灵活性，可在 1天 内完成 百万核级别 的扩容部署。 集群扩缩容速度提升至最快 5分钟 完成。 发布与更新： 发布变更流程优化，可在 20分钟 内完成。 镜像更新引入缓存与P2P预热技术，时间效率最高提升 90%。 选择腾讯云的核心在于其能够系统性解决超大规模游戏业务对性能、效率和稳定性的综合需求： 极致的计算与存储性能： 提供 CFS Turbo (100Gbps/s) 和 SSD云硬盘，解决了大规模Pod并发读取资源的IO瓶颈；支持 百万核
6710编辑于 2026-05-30- 来自专栏后端进阶
Kafka 集群突破百万 partition 的技术探索
导语：本篇文章主要从元数据，controller 逻辑等方面介绍了如何解决支撑百万 partition 的问题，运营大规模集群其实还涉及到磁盘故障、冷读、数据均衡等数据方面的问题，监控和报警服务同样非常的重要 小集群组建逻辑集群 当我们需要组建逻辑集群时，有几个核心问题需要解决： 1、当客户端需要拉取元数据时，怎么把多个小的物理集群上的元数据组装在一起返回给客户端； 2、不同集群上的元数据变更时怎么及时地通知变更 metadata 服务 针对 metadata 组装问题，我们可以在逻辑集群里的多个物理集群中选一个为主集群，其他集群为扩展集群，由主集群负责对外提供 metadata、消费位置、事务相关的服务，当然主集群也可以同时提供消息的生产消费服务 在多个物理集群的分布，也可以规避同一逻辑集群上，不同物理集群内可能出现同名 topic 的问题。 ，因此需要对现有的集群进行分裂，一个物理集群拆分成两个物理集群。
73630发布于 2021-01-30 - 来自专栏腾讯云中间件的专栏
Kafka集群突破百万partition 的技术探索
导语：本篇文章主要从元数据，controller 逻辑等方面介绍了如何解决支撑百万 partition 的问题，运营大规模集群其实还涉及到磁盘故障、冷读、数据均衡等数据方面的问题，监控和报警服务同样非常的重要 小集群组建逻辑集群 当我们需要组建逻辑集群时，有几个核心问题需要解决： 1、当客户端需要拉取元数据时，怎么把多个小的物理集群上的元数据组装在一起返回给客户端； 2、不同集群上的元数据变更时怎么及时地通知变更 metadata 服务 针对 metadata 组装问题，我们可以在逻辑集群里的多个物理集群中选一个为主集群，其他集群为扩展集群，由主集群负责对外提供 metadata、消费位置、事务相关的服务，当然主集群也可以同时提供消息的生产消费服务 在多个物理集群的分布，也可以规避同一逻辑集群上，不同物理集群内可能出现同名 topic 的问题。 ，因此需要对现有的集群进行分裂，一个物理集群拆分成两个物理集群。
41620发布于 2021-03-24 - 来自专栏喵了个咪的博客空间
原 EMQ百万级MQTT消息服务(分布式集群)
附上: 喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html 1.集群方式接受 Erlang/OTP 分布式设计，集群原理可简述为下述两条规则: MQTT 客户端订阅主题时，所在节点订阅成功后广播通知其他节点：某个主题(Topic)被本节点订阅。 EMQ 消息服务器同一集群的所有节点，都会复制一份主题(Topic) -> 节点(Node)映射的路由表，例如: topic1 -> node1, node2 topic2 -> node3 topic3 -> node2, node4 EMQ集群方式分别有以下方式: manual 手工命令创建集群 static 静态节点列表自动集群 mcast UDP 组播方式自动集群 dns DNS A 记录自动集群 etcd 通过 etcd 自动集群 k8s Kubernetes 服务自动集群 为了方便我们这里使用static方式关联节点 2.集群搭建 这里已经基于Centos7.4搭建并且调优好了两台EMQ,内网
3K80发布于 2018-04-16 - 来自专栏做不甩锅的后端
Hazelcast4.2.2 集群测试百万数据下的故障转移
本文测试在Hazelcast集群中，写入百万级别的数据，对其故障转移过程进行测试。 1.环境准备 Hazelcast4.2.2 在springboot下配置3节点集群并测试对map的操作的基础上， 搭建3节点的Hazelcast集群。 节点8081和8082 检测到心跳丢失，不能连接到8003节点，集群将8003节点移除。 [main] INFO com.dhb.hazelcast.demo.client.HazelcastGetStartClient - Map Size :1000000 可见，对于hazelcast集群 上述操作完成之后，集群将恢复。
2.5K30发布于 2021-11-03 - 来自专栏后端进阶
中通消息平台集群突破百万主题的技术探索
通常我们的做法是扩容集群，但随着集群的不断扩大，又会伴随着很多问题，随着集群的扩容节点，创建主题和分区数不断增多，存储在 zk 上的元数据就会越来越多，每当需要全量同步元数据到 Broker 节点时，会是一笔很大的网络开销 最简单的做法就是将集群拆分成若干个小集群，将主题平均分配到这些小集群中，但这会使得用户需要变更系统配置，那有没有一种办法可以在不影响用户系统的情况下，同时还能兼容小集群的模式呢？ ，审批到哪个集群并不需要关心，这完全由运维根据集群负载情况决定主题消费组被审批到相对应的集群中，而用户待主题消费组审批通过后，就可以通过 ZMS-SDK 进行发送和消费消息，如果主题消费组由变更，ZMS-SDK 对这方面我也有过一些探索，我在腾讯云中间件看到一篇关于 Kafka 集群突破百万 partition 的技术探索文章，对我的启发非常大，它对 Kafka 内部进行了一系列的改造，使用小集群组建逻辑集群的思想 想要了解腾讯云 CKafka 在这方面的技术探索，可点击以下文章： Kafka 集群突破百万 partition 的技术探索
53610发布于 2021-03-16 Kafka百万级调优实战：从集群部署到核心配置优化
通过以上步骤，一个基本的Kafka集群就部署完成了。但这只是开始，后续还需要根据实际业务需求对集群进行细致的调优和监控，特别是在处理百万级消息时，各项配置参数的优化显得尤为重要。 对于追求高性能的集群来说，合理配置这些参数是优化工作的基石。在大规模数据处理场景中，如百万级消息流，细微的配置差异可能导致显著的性能波动，因此深入理解并调优这些关键配置项至关重要。 例如，在一个处理百万级消息的集群中，如果网络线程数设置过低，Broker可能无法及时响应客户端请求，从而影响整体吞吐量。 调优原则主要基于实际负载和硬件资源。 假设我们有一个由5个节点组成的Kafka集群，每个节点配置为16核CPU、64GB内存和SSD存储，网络带宽为10Gbps。 参数优化显著提升了性能：设置-XX:MaxGCPauseMillis=150 -XX:G1NewSizePercent=30 -XX:G1MaxNewSizePercent=60，结合堆内存调整，使得Kafka集群在百万级消息处理下
91511编辑于 2025-11-28- 来自专栏KI的算法杂记
SVM系列（二）：核方法概述---正定核以及核技巧
2.正定核 我们所说的核函数大部分都是正定核。在下面的探讨中，输入空间为 ， 。 2.1定义 正定核的定义有两种： •对于 ，若存在一个函数 ，使得 ，则称 为正定核函数•对于 ，如果 满足对称性以及正定性，则我们也称 为正定核函数 对第一条定义的说明：我们要将低维样本映射到高维 ，则我们需要一个映射函数，如果我们能够找到一个 函数，使得我们定义的 恰好是两个高维样本 的内积，则 就是一个正定核函数。 而在定义二中，我们只需要自己定义一个函数K，然后取任意N个样本，联合K求它们的Gram矩阵，只要该矩阵满足半正定性质，那么我们定义的函数K就是一个正定核函数。 3.核技巧 什么是核技巧？ 4.常见的核函数 伟大的前人已经帮我们定义好了很多的核函数，常见的有：
1.7K10编辑于 2022-07-29 - 来自专栏FreeBuf
黑产军团控制四百万肉鸡集群，掘金区块链数字货币
这些僵尸网络感染的用户量级均在百万以上。 其中的PhotoMiner，具有较强的自复制性和扩散能力，通过入侵感染FTP服务器和SMB服务器暴力破解来扩大传播范围，构建挖矿僵尸网络。 2018年4月，腾讯守护者计划协助山东警方破获利用“tlminer”等近百款木马，非法控制海量计算机389万台，形成僵尸网络、集群算力，进行“挖矿”牟利的系列案件，刑事打掉一个公司化运营开放式木马平台、
1.5K20发布于 2018-07-31 - 来自专栏DeepHub IMBA
线性回归，核技巧和线性核
然后我将解释什么是核函数和线性核函数，最后我们将给出上面表述的数学证明。 以下是一个核函数示例： kernel从m维空间创建m^2维空间的第一个例子是使用以下代码: 在核函数中添加一个常数会增加维数，其中包含缩放输入特征的新特征: 下面我们要用到的另一个核函数是线性核函数: 所以恒等变换等价于用一个核函数来计算原始空间的内积。 实际上还有很多其他有用的核，比如径向核(RBF)核或更一般的多项式核，它们可以创建高维和非线性特征空间。 这就是核函数的诀窍:当计算解'时，注意到X '与其转置的乘积出现了，它实际上是所有点积的矩阵，它被称为核矩阵 线性核化和线性回归 最后，让我们看看这个陈述:在线性回归中使用线性核是无用的，因为它等同于标准线性回归
57930编辑于 2023-11-10 - 来自专栏机器学习算法与理论
核技巧
内积公式 高斯核，线性核，多项式核 而由于高斯核（径向基函数的高斯版本）是 ? 高斯核 高斯核能够基于向量的距离输出一个标量。内积的形式是向量相乘，得到单个标量或者数值，即维度一致，对应相乘相加即可。 （这就是核技巧） 这样的指数形式，故可以用泰勒展开式展开成无穷级数的形式，每一项的x前系数都不同，而这里也就对应着其特征的不同。
1.4K60发布于 2018-04-10 - 来自专栏计算机视觉理论及其实现
核方法
令 为核函数 对应的再生核希尔伯特空间， 表示 空间中的h函数，对于任意单调递增函数 和任意非负损失函数 ，优化问题 表示定理对损失函数没有限制，对正则化项 仅要求单调递增，甚至不要求 是凸函数，意味着对于一般的损失函数和正则化项，优化问题的最优解 都可表示为核函数 的线性组合；这显示出核函数的巨大威力 人们发展出一系列基于核函数的学习方法，统称为“核方法”(kernel method)。最常见的，是通过“核化”(即引入核函数)来将线性学习器拓展为非线性学习器。 下面我们以线性判别分析为例来演示如何通过核化来对其进行非线性拓展，从而得到“核线性判别分析”(Kernelized Linear Discriminant Analysis，简称KLDA)。 把 作为(6.57)中的损失函数l，再令 ，由表示定理，函数h(x)可写为 于是由式(6.59)可得 令 为核函数 所对应的核矩阵， ，令 为第 类样本的指示向量，即
1.7K10编辑于 2022-09-03 - 来自专栏大数据生态
Elasticsearch 7.10.1集群压测报告（4核16G*3，Intel）
Xeon(R) Platinum 8255C CPU @ 2.50GHz 背景 在大数据时代的今天，业务量越来越大，每天动辄都会产生上百GB、上TB的数据，所以拥有一个性能强劲的Elasticsearch集群就显得尤为重要 我们需要模拟大量网络日志、用户行为日志的读写动作，衡量各性能的指标，找出集群瓶颈所在，以确认我们需要怎样的硬件配置以及业务优化，才能满足现有的业务量，这就是我们在业务上线前所必要做的。
1.3K2010编辑于 2022-05-16 - 来自专栏大数据生态
Elasticsearch 7.10.1集群压测报告（8核32G*3，AMD）
型号：AMD EPYC 7K62 48-Core Processor 背景 在大数据时代的今天，业务量越来越大，每天动辄都会产生上百GB、上TB的数据，所以拥有一个性能强劲的Elasticsearch集群就显得尤为重要 我们需要模拟大量网络日志、用户行为日志的读写动作，衡量各性能的指标，找出集群瓶颈所在，以确认我们需要怎样的硬件配置以及业务优化，才能满足现有的业务量，这就是我们在业务上线前所必要做的。
9551710编辑于 2022-05-16 - 来自专栏大数据生态
Elasticsearch 7.10.1集群压测报告（4核16G*3，AMD）
（Cloud Virtual Machine，CVM） 本文延续上一篇 Elasticsearch压测工具esrally部署之踩坑实录（二） 本文另有延续： Elasticsearch 7.10.1集群 3节点4核16G压测报告（Intel） Elasticsearch 7.10.1压测对比（4核16G*3，AMD vs Intel） 环境配置 注：这套环境配置为本文验证通过的环境配置及版本，避免踩坑请尽量按照环境配置里提到的配置及版本 型号：AMD EPYC 7K62 48-Core Processor 背景 在大数据时代的今天，业务量越来越大，每天动辄都会产生上百GB、上TB的数据，所以拥有一个性能强劲的Elasticsearch集群就显得尤为重要 我们需要模拟大量网络日志、用户行为日志的读写动作，衡量各性能的指标，找出集群瓶颈所在，以确认我们需要怎样的硬件配置以及业务优化，才能满足现有的业务量，这就是我们在业务上线前所必要做的。
2.4K2510编辑于 2022-05-16 - 来自专栏大数据生态
Elasticsearch 7.10.1集群压测报告（32核64G*3，AMD）
型号：AMD EPYC 7K62 48-Core Processor 背景 在大数据时代的今天，业务量越来越大，每天动辄都会产生上百GB、上TB的数据，所以拥有一个性能强劲的Elasticsearch集群就显得尤为重要 我们需要模拟大量网络日志、用户行为日志的读写动作，衡量各性能的指标，找出集群瓶颈所在，以确认我们需要怎样的硬件配置以及业务优化，才能满足现有的业务量，这就是我们在业务上线前所必要做的。
7501911编辑于 2022-05-16 - 来自专栏大数据生态
Elasticsearch 7.10.1集群压测报告（32核64G*3，Intel）
Xeon(R) Platinum 8255C CPU @ 2.50GHz 背景 在大数据时代的今天，业务量越来越大，每天动辄都会产生上百GB、上TB的数据，所以拥有一个性能强劲的Elasticsearch集群就显得尤为重要 我们需要模拟大量网络日志、用户行为日志的读写动作，衡量各性能的指标，找出集群瓶颈所在，以确认我们需要怎样的硬件配置以及业务优化，才能满足现有的业务量，这就是我们在业务上线前所必要做的。
9001913编辑于 2022-05-16 - 来自专栏大数据生态
Elasticsearch 7.10.1集群压测报告（8核32G*3，Intel）
Xeon(R) Platinum 8255C CPU @ 2.50GHz 背景 在大数据时代的今天，业务量越来越大，每天动辄都会产生上百GB、上TB的数据，所以拥有一个性能强劲的Elasticsearch集群就显得尤为重要 我们需要模拟大量网络日志、用户行为日志的读写动作，衡量各性能的指标，找出集群瓶颈所在，以确认我们需要怎样的硬件配置以及业务优化，才能满足现有的业务量，这就是我们在业务上线前所必要做的。
1.2K1610编辑于 2022-05-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号