- 综合排序
- 最热优先
- 最新优先
对象存储 AI 训练数据湖最佳实践
摘要 2026 年,全球用于 AI 工作负载的对象存储采购量同比增长 75%,对象存储已成为 AI 训练数据湖的核心底座。 本文从数据湖架构设计、存储选型、性能优化与成本控制四个维度,介绍如何基于腾讯云对象存储 COS 搭建高效、稳定、低成本的 AI 训练数据湖。 三、基于腾讯云 COS 的数据湖存储方案 腾讯云对象存储 COS 为 AI 训练数据湖提供了完整的存储能力: 3.1 元数据加速功能 元数据加速功能底层采用云 HDFS 的元数据管理能力,支持用户通过文件系统语义 腾讯云对象存储 COS 作为 AI 训练数据湖的存储底座,凭借其高扩展性、多协议兼容和智能分层能力,正在帮助越来越多的 AI 团队降低数据管理复杂度、加速模型迭代周期。 了解更多关于腾讯云对象存储 COS 的产品能力和定价信息,请访问 腾讯云对象存储 COS 产品页。
20710编辑于 2026-09-03数据湖如何重塑云存储架构
数据湖如何在大规模下重塑某机构的S3服务数据湖帮助将对象存储转变为现代数据基础设施中最重要的层之一。 “20年后的今天，S3存储了超过500万亿个对象，每年处理超过千万亿次请求，支撑着超过一百万个数据湖，并为基础AI工作负载提供动力，”一位分析师表示。 “在活动期间，我们将探讨一项始于云存储的服务如何成为互联网时代，乃至如今AI时代的基础设施。”数据湖如何重塑云存储的角色数据湖的兴起改变了组织对存储架构的思考方式。 组织越来越依赖共享的数据基础，让分析引擎、应用程序和研究工作流可以针对同一数据集进行操作。“如今，二十年过去了，S3已经超越了简单的对象存储GET/PUT语法的吸引力，”另一位分析师指出。 “S3已成为分析、安全、合规以及近期AI时代工作负载的基础数据层。”这种转变也扩展了构建在对象存储之上的工作负载类型。
28210编辑于 2026-04-06腾讯云数据湖存储 GooseFS 技术概要
A New Generation of Open Platforms that Unify DataWarehousing and Advanced Analytics》 一、 产品定位与核心亮点 数据湖存储 技术定义： 基于对象存储 COS 构建的分布式缓存层，通过高性能元数据引擎和数据亲和性调度，解决计算集群（尤其是 AI/ML 场景）与存储之间的性能鸿沟。 功能框架 GooseFS 位于计算集群与对象存储 COS 之间，作为加速层运行： 计算端： 对接 Spark、PyTorch、TensorFlow、Delta Lake 等计算框架。 统一命名空间： 支持对接 COS、本地 HDL 存储系统。 打通腾讯云日志（CLS）、监控、鉴权等服务。 云原生管控： 无侵入加速： 对业务集群无感知，无需修改代码即可加速 COS 访问。 荣誉背书 底层对象存储 COS 采用 YOTTA 自研存储引擎，具备 EB 级扩展能力。 架构理念参考 DataBricks 提出的 Lakehouse（湖仓一体） 新一代开放平台架构。
40910编辑于 2026-05-30- 来自专栏用户5909132的专栏
腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库
伴随多场景的成功落地，腾讯云对象存储打造基于云技术的湖仓一体解决方案。 腾讯云对象存储打造开放的湖仓一体解决方案，与业界优秀的云数仓Databend Cloud深度合作，打破数仓和数据湖之间的壁垒，减少了数据分析中的搬迁，实现数据融合和统一数据管理，以便用户快速、高效、按需的进行数据分析 为保障腾讯云对象存储联合Databend Cloud的湖仓一体解决方案的品质，Databend 云数据仓库系统已通过腾讯云官方认证；近日，双方共同见证Databend获得腾讯云技术认证。 ，就能完成从0到用上湖仓一体方案；高效：直接对COS数据湖的数据进行分析，省去数据搬移、转换等繁琐易错的数据管理操作，且云上对象存储COS是海量的、低成的存储方案；按需，利用云上构建的优势，数据分析的数据量 点击“阅读原文”即可登录腾讯云对象存储COS
1.1K20编辑于 2023-07-16 对象存储数据迁移上云
摘要 将数据从第三方云平台迁移到腾讯云对象存储 COS,是企业上云和云迁移过程中的常见需求。 腾讯云提供云迁移平台 CMG,支持从阿里云 OSS、华为云 OBS、AWS S3 等主流对象存储服务无缝迁移数据。本文介绍迁移方案、工具选择和操作步骤。 3.1 迁移步骤 登录云迁移控制台 在左侧导航栏中选择对象存储迁移 单击新建任务,配置迁移任务信息 选择数据源类型(如阿里云 OSS、华为云 OBS、AWS S3 等) 配置源端访问密钥和目标端 COS 先执行全量迁移 迁移完成后,再执行增量同步 确保增量同步多次后数据一致,再切换业务 腾讯云对象存储 COS 提供了完善的迁移工具链,从个人使用的 COSBrowser 到企业级的云迁移 CMG,帮助用户平滑 了解更多关于腾讯云对象存储 COS 的产品信息,请访问 腾讯云对象存储 COS 产品页。
21510编辑于 2026-09-03- 来自专栏云计算D1net
云存储（对象存储）性价比小谈
概述 这几年云存储成为云计算领域最为火热的产品之一，大家众说纷“云”，互联网的未来就是数据争抢的未来，所有数据都会优选存储在云中。 一般云存储会分几种类型：对象存储（冷、热数据存储）、块存储、表格存储等，今天主要是评测的是对象存储中的热存储，小编带着大家一起通过性价比的对比方式来给各个云厂商排出名次。 本次入选的云厂商有：AWS，Azure，七牛云，华为云，阿里云，金山云等6个厂商，使用同样的评测方法和工具，选取同样的一个区域（华北/北京/俄勒冈），测试环境同样也选用离云存储最近的区域，测试机带宽10Mb 性能数据结果 为了模拟真实的用户场景，我们预先在各个云厂商存储中分别压入了接近3000万个对象，涵盖了6个不同尺寸大小的对象，分别是1KB、10KB、100KB、1MB、10MB、1GB，在做下载请求的时候 ，例如华为对象存储是华北区，在华为云上购买的弹性云（测试机）也是华北区，阿里云的云存储是北京区的，测试机（ECS）也选用北京区的，小编在测试AWS的时候，AWS的华北区仅仅是预览版，所以选择了AWS的俄勒冈
15.1K50发布于 2018-03-23 - 来自专栏全栈开发那些事
腾讯云对象存储
腾讯云对象存储 1、对象存储COS 1.1 开通“对象存储COS”服务 1.2 创建Bucket 1.3 创建API密钥 1.4 快速入门 2、整合腾讯云对象存储 2.1、service_vod模块引入依赖 ，这次换成腾讯云试试，大致思路都是一样的 1、对象存储COS 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP 腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。 1.1 开通“对象存储COS”服务 （1）申请腾讯云账号：https://cloud.tencent.com/ （2）实名认证 （3）开通“对象存储COS”服务 （4）进入管理控制台 1.2 创建Bucket 看看存储桶中是否有对应的文件。 没有问题，到此，腾讯云对象存储就实现了。
66K50编辑于 2023-02-25 - 来自专栏用户5909132的专栏
“数据湖存储”冠军杯足球赛开幕，腾讯云存储出征！
“数据湖存储”冠军杯是数据湖领域内的世界级赛事，随着云上“数据湖存储”产品理念的逐步普及，今年的比赛也获得了国内外众多球迷的关注。 而在这个月的“数据湖存储”冠军杯中，腾讯云存储代表队的首发阵容进一步得到升级，每位球员都是各自位置上的佼佼者。下面就让我们盘点一下腾讯云代表队的首发阵容！ 腾讯云对象存储COS提供海量、弹性的存储空间，提供12个9的数据可靠性和99.995%的服务可用性，承载了国内外200万用户超过15EB的数据。 腾讯云元数据加速器，在数据湖场景中为用户提供原生HDFS访问能力，支持用户通过文件系统语义访问对象存储服务，提供百 Gb 级别带宽、十万级 qps 以及毫秒级延迟。 腾讯云存储产品也是业内数据湖存储领域的明星，我们也希望用稳定、高性能、高性价比的产品方案，为广大客户带来更优质的数据湖使用体验！
99720编辑于 2022-12-10 - 来自专栏云服务器购买
对象存储COS-腾讯云对象存储服务COS
腾讯云对象存储 COS 安全稳定、海量、便捷、低延迟、低成本的云端存储服务 腾讯云对象存储服务COS详细介绍点击查看 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构 腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。 腾讯云 COS 的特性 稳定持久 腾讯云对象存储提供数据跨多架构、多设备冗余存储，为用户数据提供异地容灾和资源隔离功能，为每一个对象实现高达99.999999999%的数据持久性，保障您数据的耐久性高于其他存储架构 COS 还提供能够将存储桶挂载到本地的工具，让您能像使用本地文件系统一样直接操作腾讯云对象存储。 对象存储支持存储 EB 级别非结构化数据，高可用、高可靠、高安全和可扩展性，结合使用腾讯云大数据套件，快速构建和部署分析应用程序。
22.8K71发布于 2019-08-06 - 来自专栏腾讯云存储
腾讯云数据湖存储荣获【技术卓越奖】
评审团通过对技术深度、影响力、可持续性、市场应用等多维度筛选，腾讯云数据湖存储荣获2024年度 IT168 技术卓越奖。 IT168 点评：腾讯云数据湖存储采用了分布式集群架构，具备高性能、低延迟、大吞吐等特性，能够为上层计算应用提供统一的命名空间和访问协议，方便用户在不同的存储系统管理和流转数据。 技术卓越奖：腾讯云数据湖存储 腾讯云数据湖存储技术通过在对象存储 COS 上搭建一个分布式高性能文件系统——数据湖加速器 GooseFS，实现了存储计算分离架构下，对象存储 COS 的加速访问。 相比原生对象存储吞吐量提升8~10倍，同时降低90%的存储带宽消耗，满足了数据湖场景中对海量数据高性能、低延迟、大吞吐的要求。 腾讯云数据湖存储能够加速海量数据分析、机器学习、人工智能等业务访问存储的性能，适用于基因计算、自动加速等业务场景。
70400编辑于 2025-02-10 - 来自专栏Lansonli技术博客
数据湖（八）：Iceberg数据存储格式
Iceberg数据存储格式一、Iceberg术语data files（数据文件）:数据文件是Apache Iceberg表真实存储数据的文件，一般是在表的数据存储目录的data目录下，如果我们的文件格式选择的是 parquet,那么文件是以“.parquet”结尾，例如：00000-0-root_20211212192602_8036d31b-9598-4e30-8e67-ce6c39f034da-job_1639237002345 这个元数据文件中存储的是Manifest file列表，每个Manifest file占据一行。 每行中存储了Manifest file的路径、其存储的数据文件（data files）的分区范围，增加了几个数文件、删除了几个数据文件等信息，这些信息可以用来在查询时提供过滤，加快速度。 二、表格式Table FormatApache Iceberg作为一款数据湖解决方案,是一种用于大型分析数据集的开放表格式(Table Format),表格式可以理解为元数据及数据文件的一种组织方式
2.4K92编辑于 2022-06-19 - 来自专栏用户5909132的专栏
明晚19点直播 | 深度剖析：数据湖中的对象存储
“ 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。 ” 明晚19点，来腾讯云视频号直播间，腾讯云高级工程师“张伟”将深度剖析“数据湖中的对象存储”，和你一起畅聊技术。 直播主题： 深度剖析：数据湖中的对象存储 直播时间：（明晚）7月20日 19:00—20:00 直播内容： - 什么是数据湖 - 为什么对象存储是数据湖存储的核心 - 对象存储COS助力数据湖加速 识别下方海报中的二维码
62910编辑于 2022-07-19 - 来自专栏产品体验优化私房菜课程
腾讯云-对象存储介绍
) :提供块级别存储， 类似的产品例如aws ebs, ceph rdb，tencent cbs(云硬盘)等， 通常使用scsi， iscsi协议，数据协议共享， 存储效率高，特点是一个云主机只能挂载一个云硬盘 缺点是协议开销大， 效率不高，优点是数据易于共享，譬如一个cfs盘可以被多个云主机挂载。 网站地址：https://cloud.tencent.com/product/cfs 对象存储(cos Cloud Object Storage):对象是文件的数据和一组属性信息的组合。 网站地址：https://cloud.tencent.com/product/cos 对象存储类型分类 标准存储 标准存储（默认）适用于实时访问大量热点文件、频繁的数据交互等业务场景。 我们可以在对象的“详情”中，如以下截图 image.png 对象存储计费方式 面向对象 免费额度 有效期 个人用户 50GB 标准存储容量 6个月 企业用户 1TB 标准存储容量 6个月 对象存储方式计费比较复杂
23.9K3732发布于 2020-09-05 - 来自专栏用户5909132的专栏
COS数据湖存储引领大数据存储和自动驾驶存储发展趋势
11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。 ，打破数据孤岛；利用公有云对象存储做数据湖存储底座，让数据具备高弹性扩展、高持久性、高可用性，并降低了存储成本。 数据湖存储的底座- 可靠性12个9的ZB级海量对象存储COS 对象存储(Cloud Object Storage) COS 是腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/ 数据湖加速器GooseFS赋能混合云，助力自动驾驶训练 近几年间，自动驾驶行业飞速发展，越来越多的车企选择数据上云。 自动驾驶专云解决方案将采集到的车辆原始数据先写入本地IDC，之后通过TStor OneCOS将数据上传到云上对象存储COS，为客户在本地IDC提供海量、低成本对象存储服务。
1.8K40编辑于 2022-12-15 - 来自专栏腾讯云存储
腾讯云对象存储 COS 荣获对象存储领导力奖！！！
在6月10日下午举办的【对象存储论坛】上，腾讯云存储技术总监王淼发表了题为《对象存储内容分发应用：数据处理实践》的精彩演讲。 数据湖作为一个以原始数据格式为存储的系统，为数据分析、数据处理、机器学习等提供了极大的便利，而云的扩展性、高性能、支持地域的广泛性、以及云上所提供的丰富的数据处理和分析能力，都使其成为数据湖理想的载体。 从对象存储数据治理生态全景图中可以看到，除了对象存储标准接口之外，还可以通过消息队列、结构化存储系统、视频流等多种数据源，将数据快速方便地入湖，湖上也提供了丰富的数据处理和分析能力，消除数据孤岛，实现计算存储分离 ，由于部署及架构等原因，在业务实践中也遇到了不少挑战：主要体现在 IO 性能、目录操作以及存算分离需要的大带宽上，针对这些问题，腾讯云对象存储作为数据湖的底座，提供了多级数据加速服务，以满足不同场景的需要 场景化能力 除了提供原子的处理能力、流程化的任务系统，腾讯云对象存储最近还推出了两个面向垂直场景的服务：针对视频监控场景的明瞳智控和针对网盘相册场景的智能媒资托管服务，后续对象存储还会面向数据湖推出更多贴合业务场景的轻应用能力
7.9K30发布于 2021-06-21 - 来自专栏腾讯云存储
【2022分布式存储峰会】腾讯云存储为您带来：云原生时代下的数据湖存储服务
大会时间：今日15:00～15:30 大会主题：云原生时代下的数据湖存储服务 2022年4月14日，由百易传媒 (DOIT) 与厦门大学信息学院联合主办的“2022分布式存储论坛峰会”将在线上举行 ，旨在推动分布式存储技术发展与应用。 本次峰会设置了分布式存储论坛和混合云数据管理论坛，腾讯云存储高级产品经理——林楠老师将于15:00～15:30出席大会，就“云原生时代下的数据湖存储服务”进行分享和探讨。 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。
1.5K10编辑于 2022-04-14 - 来自专栏用户5909132的专栏
【2022分布式存储峰会】腾讯云存储为您带来：云原生时代下的数据湖存储服务
2022年4月14日，由百易传媒 (DOIT) 与厦门大学信息学院联合主办的“2022分布式存储论坛峰会”将在线上举行，旨在推动分布式存储技术发展与应用。 本次峰会设置了分布式存储论坛和混合云数据管理论坛，腾讯云存储高级产品经理——林楠老师将于15:00～15:30出席大会，就“云原生时代下的数据湖存储服务”进行分享和探讨。 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。
1.2K30编辑于 2022-04-14 - 来自专栏ApacheHudi
火山引擎数据湖存储内核揭秘
火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用，又能基于数据湖构建数仓供 本文将从统一的元数据服务和表操作管理服务两大方面，揭秘如何基于Hudi如何构建数据湖存储内核。 LAS介绍 火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用 基于 LAS 构建企业级实时湖仓，无论离线数据还是实时数据，都可以放到 LAS 流批一体存储中。 MetaServer整体分为两大块——存储层和服务层。存储层用于存储数据湖的所有元数据，服务层用于接受所有元数据的相关增删改查请求。整个服务层是无状态的，因此支持水平扩展。
1.1K10编辑于 2023-12-13 - 来自专栏深度学习与python
基于对象存储的数据湖构建新思路
它拥有一个文件系统抽象，从而让开发者更加便利的使用其作为存储引擎。但是在近 1-2 年以来，随着混合云 / 多云和边缘端的高速发展，对象存储在很多方面呈现出取代 HDFS 的趋势。 下文将会详细叙述相较于 HDFS，对象存储在数据湖场景下所体现的优势和所面临的挑战，以及解决方案。 所以在对象存储中，元数据不再受限于单个节点的物理资源，对于小文件这种元数据与数据接近的数据湖场景，对象存储更能够平衡元数据和数据的资源配比，有效的利用整个系统的物理资源对小文件进行索引，使得单一的节点也能够容纳海量小文件 商业对象存储的解决方法 当然，针对标准 S3 API 在前 2 小节提到的限制，现有商用对象存储（公有云 / 混合云）比较常见的做法是扩充 S3 的实现，提供 Append 和 CAS 语义来解决。 4总结 在对 Apache Iceberg 进入深入探索后，我们作为对象存储产品的提供方，对数据湖的解决方案有了一些思考。
1.3K20发布于 2021-06-08 腾讯云数据湖存储 GooseFS：大模型存储基础设施技术解析与应用实践
是一款定位为“大模型存储基础设施”的统一数据湖存储服务。 其核心技术属性在于打通对象存储（COS）与计算节点之间“最后一公里”的数据流通。 功能框架 GooseFS 构建于对象存储（COS）之上，作为接入层连接上层计算节点。其架构分为： 计算端加速：通过数据亲和性调度，将热点数据下沉至 GPU 本地盘。 服务端加速：部署高性能分布式元数据引擎与分布式缓存。 2. 硬核指标 扩展能力：基于腾讯云自研 YOTTA 存储引擎，单集群最多可扩展至 100 EB（百 EB 级） 数据规模。 荣誉背书 底层依托腾讯云 YOTTA 自研存储引擎 提供核心支撑（注：原文材料中未列出外部颁发的特定奖项或荣誉名称）。
41010编辑于 2026-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号