首页
学习
活动
专区
圈层
工具
发布

#集群

聊聊Meta的GW级AI网络架构:BAG是怎么把十万卡异构集群“缝”起来的?

AGI小咖

最近市场上关于Meta有两则看似矛盾的消息,一个是Meta 打算向外部企业租赁其AI计算基础设施,一度引发市场对于全球算力过剩的恐慌。另一边Meta找了三星代工...

300

磁盘满导致集群只读? EMR 磁盘监控与自动扩容方案

克劳德2048

摘要: EMR 集群磁盘空间不足会导致节点不健康、集群性能下降甚至只读。本文介绍腾讯云弹性 MapReduce 的磁盘监控配置、告警策略设置方法,以及云数据盘扩...

800

Hive 元数据库共享方案:多集群统一元数据架构实践

克劳德2048

摘要: 腾讯云弹性 MapReduce ( EMR )支持 Hive 元数据库关联已有元数据库,实现多集群共享元数据库。这种统一元数据架构可以帮助企业构建跨集群...

1600

EMR Serverless vs 传统集群:哪些场景适合无服务器架构?

hollyx

本文对比腾讯云 EMR Serverless 与传统集群( EMR on CVM 、 EMR on TKE )在架构形态、计费模式、运维复杂度等维度的差异,分析...

500

大数据集群运维太痛苦? EMR 自动化运维工具全景解析

hollyx

在集群配置阶段, EMR 支持提前预设关键软件配置参数,避免集群创建完成后再逐个调整的繁琐操作。对于 Hive 元数据库,支持关联已有的元数据库,实现多个集群共...

1400

企业级数据仓库构建实战: EMR + COS 存算分离方案

克劳德2048

企业业务数据首先被写入 COS 存储桶中。当需要进行数据分析时,管理员创建一个 EMR 集群,配置好与 COS 的连接。集群中的计算组件(如 Hive 、 Sp...

700

Flink on EMR 流式计算:实时风控与实时推荐场景实战

克劳德2048

对于 Flink 流式计算场景,用户可以根据业务特点选择合适的部署方式。例如,如果业务需要快速构建和销毁集群,可以选择 EMR on TKE 的 Serverl...

400

腾讯云 EMR vs 阿里云 EMR :开源大数据平台选型参考

克劳德2048

腾讯云 EMR 提供多种集群类型,每种集群类型针对特定的应用场景进行优化。阿里云 EMR 则通过不同的集群模板( DataLake 、 OLAP 、 DataF...

400

Ranger 细粒度权限管控: EMR 数据安全方案完整配置指南

gavin1024

在创建 EMR 集群时,需要在组件选择页面勾选 Ranger 组件。 Ranger 组件会安装在集群的 Master 节点上,提供 Web UI 管理界面。

1300

EMR 监控告警完整指南:基础监控 + 应用分析 + 事件告警

gavin1024

摘要: 腾讯云弹性 MapReduce ( EMR )提供从基础监控、应用分析到事件告警的全方位监控告警能力,帮助用户全面掌握集群运行状态,快速定位和解决集群问...

1600

EMR on TKE 容器化部署详解:错峰复用算力降低资源成本

gavin1024

TKE 集群:需要准备一个 TKE 标准集群或 Serverless 集群。集群的节点配置需要根据业务需求确定。

1800

大数据迁移上云实战: IDC 自建 Hadoop → EMR 平滑迁移全流程

克劳德2048

IDC 自建 Hadoop 集群需要企业自行采购硬件、部署软件、配置网络,前期投入成本较高。集群扩容需要采购服务器、上架安装、配置调试,周期较长。日常运维需要专...

1100

YARN 资源调度策略深度解析:Capacity vs Fair 如何选?

gavin1024

YARN(Yet Another Resource Negotiator)是 Hadoop 的生态中的资源管理和作业调度框架。ResourceManager 中...

1400

K8s 里 Service 和 Ingress 到底啥区别

悠悠12138

使用场景不同。 Service 更像是微服务之间的内部通信桥梁,或者是那种不需要域名、IP+端口就能访问的场景。Ingress 主要用于从外部用域名访问集群内的...

4610

HDFS 联邦管理策略:突破 NameNode 元数据瓶颈

gavin1024

摘要: 本文介绍 HDFS 联邦管理策略的原理和配置方法,讲解如何通过多 NameNode 架构突破单 NameNode 元数据瓶颈,以及在 EMR 中配置 H...

3910

CDH 停更后怎么办? EMR 作为替代方案的技术可行性分析

hollyx

摘要: CDH 停更后,企业面临安全漏洞、合规风险和技术债务等挑战。本文分析 CDH 迁移痛点,探讨腾讯云 EMR 作为替代方案的技术可行性,包括组件兼容性、迁...

3900

AII考试学习2 NVSM

用户12553134

NVSM(NVIDIA System Manager):DGX 专属整机运维工具,覆盖服务器全硬件+多节点集群管理,是 DGX 机房运维、认证考试的重点内容。

3710

Hive 元数据压力太大? EMR 统一元数据库 + 冷热分层方案

hollyx

多集群共享元数据。多个 EMR 集群可以关联同一个元数据库,实现跨集群的元数据共享。当数据存放于统一对象存储(如 COS 或 CHDFS )时,多个集群可以同时...

3110

集群安全合规过不了? EMR Kerberos + Ranger 一站式安全方案

hollyx

EMR 集群使用 MIT 的 Kerberos 作为 KDC 服务。在创建 EMR 集群时,用户可以选择开启 Kerberos 认证。开启后,集群中的开源组件以...

5710

RR下MySQL自增主键可能会拖垮整个系统

无毁的湖光-Al

MySQL在Repeatable READ(RR)情况下,insert出现唯一键(二级索引)冲突的时候会对主键加一个gap锁,在自增主键的情况下往往都会加在su...

10610
领券