- 综合排序
- 最热优先
- 最新优先
- 来自专栏Juicedata
JuiceFS 元数据引擎选型指南
(image-850749-1665386534868)] 其中，元数据引擎需要是能够支持事务操作的数据库，而数据引擎一般是用对象存储。 这篇文章将从产品设计角度，为大家介绍 JuiceFS 可使用的元数据引擎类型，以及他们的优劣势。 01-JuiceFS 元数据引擎类型 JuiceFS 现在支持的元数据引擎总共有有三大类。 Redis 是 JuiceFS 开源后最早支持的元数据引擎。首先 Redis 速度够快，这是元数据引擎需要具备的重要能力之一；其次，Redis 受众面广，大部分用户对 Redis 都有实践经验。 当然，如果对象存储变得非常快（比如都用本地全闪部署），那么元数据引擎的性能差异可能又会体现出来。另外，对于一些纯元数据操作（比如 ls，创建空文件等），不同元数据引擎的性能差别也会表现的比较明显。 04- 元数引擎迁移 文章的最后，为大家介绍元数据引擎迁移。 随着用户业务的发展，企业对元数据引擎的需求会发生变化，当用户发现现有的元数据引擎不合适了，可以考虑将元数据迁移到另一个引擎中。
1.1K10编辑于 2022-10-28 - 来自专栏BigDataplus
元数据：跨引擎超完备字段级血缘关系解题方法
目录 背景 血缘关系使用场景 跨引擎完备字段级血缘关系实现方法 展望 血缘和热度实现智能数仓重构建模 让指标本身会说话 总结 背景 元数据是关于数据的数据，是对数据的描述，元数据又分为三类 ：管理元数据、业务元数据和技术元数据。 而字段或表级血缘关系就是技术元数据，关于业务元数据和管理元数据等元数据相关知识笔者给出前期文章分享链接，笔者这里不再赘述。 元数据：数据治理的基石 数据血缘关系：图数据库Neo4j存储实现 前期几篇文章讲了元数据和血管关系整体思路，但没讲字段级血缘如何解析如何实现，此篇文章重点讲解跨引擎超完备字段血缘关系实现解题方法。 如今开源时代，已经涌现出不同好用的计算引擎，因引擎特性被应用在不同的使用场景，这些计算引擎虽然语法上支持SQL或已在SQL化，即使国际上也有SQL标准，但是各个引擎语法方言却多少有点各不相同，元数据且不共用
3.9K50编辑于 2022-11-30 - 来自专栏MongoDB中文社区
WiredTiger存储引擎之四：WT工具编译与元数据文件剖析
前言 本系列文章将从逻辑正确、内容完整的角度全面介绍WiredTiger存储引擎， 本篇作为WiredTiger存储引擎介绍系列文章第四篇，其它3篇链接如下： WiredTiger存储引擎之一：基础数据结构分析 为了更好的实施数据迁移、备份恢复甚至数据修复等工作，我们需要了解WiredTiger存储引擎在磁盘上生成的文件及其内容。 更多详细命令请参考WiredTiger官方网站： http://source.wiredtiger.com/3.2.1/command_line.html. 1.1.2 元数据相关文件 WiredTiger 启动时，会生成数据文件、索引文件、存储checkpoint等信息的元文件、实现数据持久化和数据库恢复的事务日志文件以及用于诊断分析的数据库运行日志文件。 注意：如果MongoDB数据库实例非正常关闭，可能有insert/delete等操作修改的数据并没有持久化，因此集合中的文档记录和元数据文件sizeStorer.wt保存的记录数可能不一致。
3K20发布于 2020-08-10 - 来自专栏大数据&分布式
统一元数据：元模型定义、元数据采集
，元数据采集可分为两种类型： 元数据推断：通过读取并解析存储系统的数据文件，自动识别和推断该数据文件对应的Schema信息； 元数据Crawler：主要通过PULL方式主动定时的周期性拉取元数据信息；同时也支持引擎以 根据不同的底层数据源引擎，主要分为两种类型：(1). 对于传统关系型数据库(如MySQL等)，使用通用的JDBC连接方式，定义各数据源类型的元数据采集SQL语句，从底层引擎的元数据内置系统库表爬取所需元数据信息；(2). () 获取； 自定义采集：数据源引擎无JDBC连接，根据引擎自定义实现； 特别的，元数据Crawler的底层实现逻辑除了支持离线采集外，也可提供即时的数据目录功能。 如图所示，可分别设计两个服务： 元数据直连引擎：即时执行，获取当前的元数据库表信息，主要用于实时查找或者执行引擎使用； 元数据采集服务：离线定时调度，采集元数据，主要用于数据治理场景； 总结 本文提供了元模型定义
4.3K43编辑于 2024-05-14 - 来自专栏bisal的个人杂货铺
数据元和元数据这俩相同么？
简单来说，核心区别在于：数据元关注的是“数据是什么”，是数据的内容单元；而元数据关注的是“数据的描述信息”，是关于数据的数据。 为了让区别更清晰，我们从几个维度来对比： 1. 目录卡上写着： 这本书的作者是曹雪芹（创建元数据） 出版社是人民文学出版社（来源元数据） 分类号是 I242.4（结构/位置元数据） 这本书在3楼文学区第2排（位置元数据） 预计归还日期是下周（使用元数据 一个数据元的定义本身，就是一组元数据的集合。例如，对“客户年龄”这个数据元的标准化描述（包括它的标识符、名称、数据类型、单位、值域等），正是描述这个数据元的“元数据”。 简而言之： 元数据是更高层次的概念，用来描述任何数据的特征。 数据元是一个更具体、更标准化的对象，它本身是一个核心的数据内容单元，而描述它的那些属性（名称、ID、格式、值域等）就是元数据。 所以，当你在思考区别时，可以记住：元数据描述数据，数据元是那些被描述的、有意义的数据单元。 一个标准的“数据元”的定义，离不开“元数据”的支撑。
18310编辑于 2026-05-19 - 来自专栏文渊之博
探索SQL Server元数据（三）：索引元数据
背景 在第一篇中我介绍了如何访问元数据，元数据为什么在数据库里面，以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。 本篇我将会介绍元数据中的索引，不仅仅是因为它们本身很重要，更重要的是它们是很好的元数据类型，比如列或者分布统计，这些不是元数据中的对象。 索引对于任何关系数据库表都是必不可少的。 我们过滤了的索引，这些索引是由数据库引擎优化顾问(DTA)创建的，目的仅仅是测试一个可能的索引是否有效。以防它们积累起来，最好把它们去掉。 元数据中还有其他类型的索引吗? 还有两种比较特殊的索引，一是空间索引，其信息在sys.spatial_index_tessellations 和 sys.spatial_indexes表中。 为此，它需要估计数据的“基数”，以确定为任何索引值返回多少行，并使用这些“stats”对象告诉它数据是如何分布的。
1.4K10发布于 2018-08-03 - 来自专栏java编程那点事
合并元数据
如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。 在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 因为元数据合并是一种相对耗时的操作，而且在大多数情况下不是一种必要的特性，从Spark 1.5.0版本开始，默认是关闭Parquet文件的自动合并元数据的特性的。 可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性： 1、读取Parquet文件时，将数据源的选项，mergeSchema，设置为true 2、使用SQLContext.setConf // 一个是包含了name和age两个列，一个是包含了name和grade两个列 // 所以， 这里期望的是，读取出来的表数据，自动合并两个文件的元数据，出现三个列，name、age、grade /
1.4K10编辑于 2023-02-25 腾讯CFS Turbo通过智能元数据引擎应对百亿级文件大模型训练挑战
大模型训练遭遇海量小文件元数据瓶颈 随着大模型训练进入下一代，训练样本数据特征发生显著变化。文件数量从十亿级增长至百亿级，而目录数量也达到亿级。 部署自适应条带化目录的元数据引擎 为解决上述瓶颈，腾讯云CFS Turbo推出了新一代元数据引擎Meta Turbo。 其核心技术是自适应条带化目录，该技术能将单个大目录的元数据动态分布到多个元数据服务器（MDS）上。 ）的频繁元数据访问。 腾讯CFS Turbo的技术领先性保障 腾讯云CFS Turbo的Meta Turbo引擎通过创新的自适应条带化架构，解决了业界在海量小文件存储上的普遍痛点。
10410编辑于 2026-05-30数据管理最容易混淆的3个概念：元数据、数据元、元模型
做数据这行的，肯定常听到“元数据”“数据元”“元模型”这三个词。开会时有人说“元数据管理”，转头又有人提“数据元标准”，偶尔还穿插“元模型设计”，但真要问它们仨到底啥区别，估计不少人说不清楚。 一、元数据：描述“数据”本身的信息说白了，元数据就是“关于数据的数据”。 那么元数据到底有啥用？简单说，元数据就是帮你解决“数据从哪儿来、能干啥、怎么用”这三个问题的：实际工作中怎么用元数据的？ 比如FineDataLink中要管理“表元数据”和“字段元数据”，元模型就会规定：每个“表元数据”必须关联多个“字段元数据”，每个“字段元数据”必须包含“名称”“类型”“长度”这些信息。 4.治理数据时通过元数据监控表的变更，用数据元校验数据质量，按元模型检查模型是否合规，比如事实表没加外键。总结元数据、数据元、元模型这三个概念，看着有点绕，但其实都是数据治理的基础。
3.9K11编辑于 2025-08-19- 来自专栏大数据架构师成长之路
元数据解读
分布式元数据架构： 分布式架构包括一个完整的分布式系统架构只维护一个单一访问点，元数据获取引擎响应用户的需求，从元数据来源系统实时获取元数据，而不存在统一集中元数据存储。 在元数据集中存储的基础上或过程中，可提供元数据服务与应用，如数据资产目录、数据地图、集成IDE、统一SQL多处理引擎、字段级血缘关系、影响度分析、下线分析、版本管理和数据价值分析等（这些元数据应用可根据产品经理设计理念进行优化组合 如果多种计算引擎就使用上述笔者给出技术架构图，通过对不同存储和计算引擎监听动作，使用Antlr4开发各版本SQL解析工具，动态识别元数据信息变更、删除和新增实时或准实时生成集群血缘关系、系统血缘关系、表级血缘关系和字段血缘关系 统一SQL路由引擎 集成IDE开发中提到统一SQL路由引擎，其统一使用HQL语言智能地路由多种执行引擎。 或其他引擎执行失败，则使用Hive引擎来补救执行，最终都会返回结果。
1.7K51发布于 2020-06-10 - 来自专栏大数据和云计算技术
元数据概念
刘耀铭同学元数据系列作品的第一篇，大家支持！ 其他元数据相关系列文章： 基于元数据驱动的ETL Hive 元数据表结构详解 1、 元数据是描述其他数据的数据（data about other data）,用于提供某种资源有关信息的结构化数据（structed 字面上看无法看出所以然，但其实看对应的英文含义就明确了，Meta指“对······的描述”类似Meta tag，所以元数据就是对数据的解释和描述。 2、 这里主要将数据仓库的元数据分为3类：DBMS数据字典、ETL处理流程产生的日志、BI建模等。 DBMS数据字典 数据库管理系统（DBMS）中的元数据一般在所有的数据仓库都会包含，因为数据仓库一般都是基于数据库搭建的，而数据库本身的管理系统就会自动维护一套数据字典供用户查询。
1.6K110发布于 2018-03-08 - 来自专栏阮一峰的网络日志
元数据（MetaData）
元数据是用来描述数据的数据（Data that describes other data）。单单这样说，不太好理解，我来举个例子。 这个例子中的"年龄"、"身高"、"相貌"、"性格"，就是元数据，因为它们是用来描述具体数据/信息的数据/信息。 当然，这几个元数据用来刻画个人状况还不够精确。 我们每个人从小到大，都填过《个人情况登记表》之类的东西吧，其中包括姓名、性别、民族、政治面貌、一寸照片、学历、职称等等......这一套元数据才算比较完备。 在日常生活中，元数据无所不在。 有一类事物，就可以定义一套元数据。 喜欢拍摄数码照片的朋友应该知道，每张数码照片都包含EXIF信息。它就是一种用来描述数码图片的元数据。 在电影数据库IMDB上可以查到每一部电影的信息。IMDB本身也定义了一套元数据，用来描述每一部电影。
1.5K100发布于 2018-04-13 - 来自专栏iOS打包，上架知识大全
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 ： 查看所有数据库 <? > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
85710编辑于 2023-05-05 - 来自专栏IT资讯新闻
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 ： 查看所有数据库 <? > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
1.4K00发布于 2021-07-16 - 来自专栏大数据技术架构
元数据管理 | Hive 元数据迁移与合并
，进行元数据迁移； 迁移过程控制在十分钟之内，以减少对迁移方的业务影响； 元数据合并的难点 hive 的元数据信息（metastore）一般是通过 Mysql 数据库进行存储的，在 hive-1.2.1 参见代码：com.netease.hivetools.apps.SchemaToMetaBean 元数据迁移操作步骤 第一步：备份元数据迁移前的目标和源数据库 第二步：将源数据库的元数据导入到临时数据库 文件中中配置源和目的数据库的 JDBC 配置项 执行元数据迁移命令 hive-tools 会在迁移元数据之前首先检查源和目的元数据库中重名的 hive db，终止元数据迁移操作并给出提示 执行删除重名数据库命令 再次执行执行元数据迁移命令 检查元数据迁移命令窗口日志或文件日志，如果发现元数据合并出错，通过对目的数据库进行执行删除指定 hive db 的命令，将迁移过去的元数据进行删除，如果没有错误，通过 hive 客户端检查目的数据库中是否能够正常使用新迁移过来的元数据 严格按照我们的元数据迁移流程已经在网易集团内部通过 hive-tools 已经成功迁移合并了大量的 hive 元数据库，没有出现过问题。
2.6K30发布于 2021-04-29 - 来自专栏华专网络网站建设公司
网站搜索引擎 Meta元标签的详细介绍
Meta元标签位于网页源代码之间，它是用来在HTML文档中模拟HTTP协议的响应头报文。Meta的属性有两种：name和http-equiv。 对于搜索引擎优化人员来说，我们只重点关注Meta的name属性。 Meta的name属性主要用于描述网页，对应于网页内容，以便于搜索引擎机器人查找和分类。 后来，这种排名作弊行为被搜索引擎察觉，在其新一轮的算法更新中，搜索引擎淡化了Meta的Keywords和Description部分信息在排名因素中的权重。 Keywords向搜索引擎说明你的网页的关键词。每个页面的源代码Keywords的content部分填写1-3个关键词，关键词之间请以半角逗号分来。 Description告诉搜索引擎你的站点上的页面的主要内容。Description的content部分文字内容最好控制在100个字符左右，行文流畅。
66710编辑于 2024-12-19 - 来自专栏MixLab科技+设计实验室
138元每月，人生搜索引擎正式上线 # Rewind
人生搜索引擎终于正式上线了，用户不再需要申请即可使用，不过需要支付大约138元人民币/每个月。 你想找什么东西，只需要在搜索引擎上输入关键词，它就会把“相关记忆”给你提取出来。 这也就是 Rewind 这款搜索引擎想解决的问题。 Rewind 给自身的定义是： The Search Engine For Your Life 也就是你人生的搜索引擎，它声称能快速搜索你曾经看过、说过或者听过的任何内容。 Rewind 的官网上，他们对隐私问题也做了详细的解释： 本地存储，开发人员或者其他外部人员无法访问 能够随时控制应用程序的运行 可以提前设置不允许Rewind访问的私人窗口 尽管 Rewind 强调了数据的本地属性和对隐私的保护
93320编辑于 2023-01-31 - 来自专栏Qt核心机制
Qt核心：元对象系统（1）- 元对象和元数据
所以推测，Qt 大概率是采用某种方法拿到了方法和函数名的映射数据，从而完成转换，这部分数据我们暂且称为元数据。2 元数据和元对象什么是元数据？ 4.1 元对象声明联系前面的元数据的说明，朴素的想法是我们可以用另一个对象来描述这些信息，即元对象，在运行时通过这个对象来获取相关的具体类型等。 中，头文件中的部分大概有200行左右，但是看出来其中是有明显的划分的，在元对象中定义了用来存放元数据的地方（源文件的604-612）行，我们可以看到其中存放的元数据的结构元数据以字符串和数组的形式存放在私有的结构体中 QMetaObject对象的私有数据中有几个变量需要初始化首先是const QByteArrayData *stringdata; // 元数据的字符串数据，moc文件中解析来的数据如下。 宏的相关类的信息，生成moc文件，得到元数据并构造元对象将生成的文件和源文件一起编译
3.3K10编辑于 2022-10-17 腾讯混元大模型:引领AI时代的创新引擎
可靠的任务执行能力: 混元能够准确理解用户指令,并按步骤完成各种任务。从简单的信息检索到复杂的数据分析,混元都能高效完成。 混元生图: 将文本描述转化为精美图像,为设计、广告等行业赋能。大模型视频创作引擎: 助力视频内容制作,提升创作效率和质量。 应用场景:赋能各行各业腾讯混元大模型的应用范围极其广泛,以下是几个典型场景:企业服务: 智能客服、文档自动生成、数据分析报告等。教育培训: 个性化学习助手、试题生成、教学内容创作等。 技术优势与未来展望腾讯混元大模型凭借其强大的中文处理能力和丰富的知识储备,在中文语境下表现尤为出色。同时,腾讯强大的技术团队和海量的数据资源,为混元模型的持续优化提供了坚实基础。 它不仅是一个强大的技术工具,更是推动各行各业数字化转型的重要引擎。随着技术的不断进步和应用场景的不断拓展,混元必将在未来的AI时代扮演更加重要的角色。
1.4K00编辑于 2024-09-24元数据、数据元、元模型：三个你似懂非懂，但必须弄清的概念
在工作里和很多刚开始接触数据治理的朋友聊天，我发现有几个词特别容易把人绕晕：元数据、数据元、元模型。它们长得像，听起来也差不多，经常被混为一谈。 第一部分：元数据——数据的“说明书”和“地图”我们先说最常听到的元数据。元数据，就是“关于数据的数据”。这个定义有点绕，但很简单。它不是数据内容本身，而是用来描述数据内容的各种信息。 第二部分：数据元——数据的“标准原子”如果说元数据是描述数据的“外部信息”，那么数据元就深入到数据的“内部核心”了。数据元，是数据不可再分的最小单元，并且经过了严格的定义和标识。 如果说元数据描述具体的数据，数据元定义具体的字段，那么元模型就是定义“我们该如何去描述和定义数据”的规则。它是“模型的模型”。这个概念有点绕，我们一步步来。 一个成熟的、方便查询的元数据管理系统，能让你如虎添翼。而当你开始参与数据标准制定或数据平台规划时，数据元和元模型的概念就会变得至关重要。希望这次的梳理，能帮你把这团“元”字头的迷雾吹散一些。
76510编辑于 2026-01-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号