首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • WeData执行资源组过载

    1. 对于写入hive/dlc/iceberg数据源,且数据量较大(百万级以上)场景,建议资源包规格升级为8c32g,资源包数量不小于2个。

    28510编辑于 2024-05-20
  • 来自专栏数据开发平台WeData系列文章

    WeData任务异常日志查看

    场景一:EMR引擎相关任务:Hive SQL、Spark SQL等类型任务运行异常 进入WeData对应项目,在运维中心➡️实例运维➡️周期实例页面,根据任务ID获取异常任务实例,点击查看日志; 根据任务日志排查 查看对应任务运行情况 获取yarn日志命令:yarn logs -applicationId [appid] > app.log 场景二 DLC引擎相关任务:DLC SQL、DLC Spark等类型任务运行异常 进入WeData 详细信息也可以跳转到DLC页面,通过DLC任务ID,查看具体报错内容 跳转到DLC页面,点击历史任务实例,根据任务ID查看具体运行日志 场景三 MYSQL、SQL SERVER等其他类型任务运行异常 进入WeData

    37900编辑于 2025-05-26
  • 来自专栏产品体验优化私房菜课程

    Wedata数据治理产品应用

    什么是Wedata数据开发治理平台 WeData(以下简称 WeData)是位于云端的一站式数据开发治理平台,融合了包含数据集成、数据开发、任务运维的全链路 DataOps 数据开发能力,以及数据地图、 数据安全等一系列数据治理和运营能力,帮助企业在数据构建和应用的过程中实现数据价值最大化,更多见产品文档:https://cloud.tencent.com/document/product/1267/47990以下为wedata 如何应用Wedata通过腾讯云以下三个产品来模拟用户使用Wedata的真实场景。 regionId=4)可以创建一个VPC,其他产品如Wedata、EMR和MySQL都放到这个VPC下。购买后再次确认配置( 因模拟环境使用,我购买的均为低配版本)。 Wedata项目配置首先创建项目再次进入资源配置,设置好资源组、集成资源等添加数据源数据开发创建hive库表在新建的 streamdemo_hive 的数据库中,创建名为 productorder_hive

    93140编辑于 2023-11-21
  • 来自专栏泛互云原生

    数据开发治理平台Wedata之数仓建设实践

    通过模拟业务数据的导入,分层ETL和数据应用全过程,演示了如何在Wedata上进行高效的数据开发与治理。 Wedata也同时支持CDW-PG、DLC作为基础平台。选择弹性Mapreduce服务,参考如下规格,进行EMR集群的创建。 调度执行组使用的机器配置可自行决定,当前Wedata使用CVM配置4C8G可支持64并发。 image.png 2.5 开通Wedata服务 开通Wedata服务,主账号可以直接创建空间。 image.png 2.6 开通Wedata项目空间 2.6.1 创建项目 进入Wedata服务,选择项目列表,点击创建项目开通新wedata项目空间。 如下图中,张XX用户映射zaki之后,控制台使用张XX用户登入wedata,任务提交在hadoop集群使用zaki用户。

    3.6K51编辑于 2022-05-09
  • 来自专栏QQ大数据团队的专栏

    腾讯云WeData Notebook探索:从大数据迈向数据科学

    ,您可以登录进行体验,在第四章节,我们会介绍如何体验和购买 WeData Notebook 探索。 如何体验和购买 1、如果您还不是 WeData 用户,请先开通 WeData 服务。 目前 WeData 面向新用户提供多个优惠活动,您可以9.9元购买3个月 WeData专业版、19.9元购买3个月WeData企业版 (复制下列链接至浏览器打开:https://cloud.tencent.com 3、上述两个服务开通后,进入WeData控制台进行使用,更多内容请点击阅读原文前往产品官网进行了解。 未来,Notebook探索会进一步加强与WeData编排空间的融合,借助WeData强大的工作流编排和周期性调度能力,实现数据汇聚、数据开发、数据分析全链路流程一体化、自动化。

    1.1K20编辑于 2024-08-26
  • 来自专栏QQ大数据团队的专栏

    腾讯云WeData Notebook:数据科学家的最佳拍档

    WeData Notebook 提供了一个交互式的环境,可以使用 PySpark 或其他大数据处理框架来探索和分析 EMR 和 DLC 中的大规模数据集,您可以使用 WeData Notebook 内置的可视化库 技术实现 腾讯云 WeData Notebook 探索整体架构图如下: 1.关键实现: 联动 Cloudstudio 共建云端 Jupyter 运行环境 WeData 团队联合了腾讯云 CloudStudio 整体实现流程如下: 如图,WeData 已针对不同版本的大数据引擎维护了多套不同的 workspace 镜像,用户在创建 workspace 时,WeData 会根据用户绑定的大数据引擎实例,选择合适的镜像版本并将所需要的引擎配置和认证信息上传至 托管和下发,来源于用户授权 WeData 访问 DLC 引擎的 CAM policy,默认5分钟过期。 ● Secret 秘钥:WeData 在向工作空间下发配置时颁发的一套和工作空间绑定的秘钥串,用于校验 refresh token 的合法性。

    1.4K10编辑于 2024-07-29
  • 腾讯云 WeData 深度测评

    摘要 本文聚焦当下最火的数据资产管理赛道,结合 2025 年 8 月腾讯云官网最新信息,横向对比主流平台的核心功能、价格与活动,重点拆解腾讯云 WeData 的“全链路 DataOps、可视化开发、多租户协同 深度拆解 产品定位 WeData 是腾讯云 2023 年推出、2025 年已全面商业化的一站式数据开发治理平台,主打“开箱即用、全链路 DataOps”。 四、典型落地案例 某头部城商行:用 WeData 3 天完成 400+ 张监管报表迁移,批处理窗口从 6 小时缩短至 45 分钟。 五、三步上手 WeData 登录腾讯云控制台→产品搜索“WeData”→点击“立即选购”; 创建项目空间→选择地域(推荐上海/广州)→绑定 COS 数据湖存储; 导入样例数据→拖拽第一个 DAG 任务→ 结语 如果你正在为“数据找不到、口径不一致、上线慢”而头疼,2025 年 8 月的腾讯云 WeData 几乎是“闭眼入”的选择:不仅功能全、价格透明,还有限时 5 折活动。

    75310编辑于 2025-08-22
  • 来自专栏QQ大数据团队的专栏

    腾讯云WeData:数据质量监控架构的创新与实践

    腾讯云WeData作为深度聚焦数据治理的智能平台,以“三层解耦架构”为核心,重塑了数据质量监控体系。本文将结合实际经验,聊聊背后的技术逻辑和产品设计思路。 腾讯云WeData希望通过先进的数据质量治理体系,实现从被动防御到主动保护的转变,成为企业增长的“隐形护盾”。 02 数据质量的深层挑战 数据质量始终是企业面临的棘手问题。 在腾讯云WeData的实践中,我们发现了几个典型挑战: 隐形规则vs显性规则:合规,但是合理吗? 数据质量不仅仅是简单的规则判定,更需要适配具体的业务场景。 针对上述挑战,腾讯云WeData提出计算层、判定层、治理层的三层解耦架构,实现精细化、智能化的数据质量治理。 三层解耦架构把质量指标计算、异常阈值判定、告警策略拆开,每一层都能独立扩展能力。 我们在腾讯云WeData的实践中体会到,只有通过架构的解耦和能力的灵活组合,才能真正让数据质量治理变得高效、智能、可持续。

    89210编辑于 2025-05-01
  • 来自专栏QQ大数据团队的专栏

    腾讯云大数据WeData在金融行业数据分类分级实践

    本文结合腾讯云大数据WeData(一站式大数据开发治理平台)探索数据分类分级在某金融客户的应用实践和落地过程。 名词解释 数据资产,可以被定义为组织或个人拥有的具有价值的数据资源。 本文中所提及的数据安全能力是WeData联合腾讯云鼎安全实验室共同打造的数据安全治理能力,以WeData产品赋能客户,提供敏感数据发现与分类分级、数据安全风险评估、数据安全策略及管控闭环、数据安全风险监测和告警等功能 本文我们结合腾讯内部经验和腾讯云服务的客户经验,通过在金融行业客户使用WeData的案例,来详细解析WeData数据安全分级分类实践应用。 图四、WeData内置模板,参考 JR∕T 0197-2020《金融数据安全数据安全分级指南》 如上所示,准备好分类分级规则模板后,下一步就是进行敏感数据识别。 以上过程通过WeData平台自动完成,这个过程中有哪些需要关注的点呢?

    1.2K01编辑于 2024-05-27
  • 腾讯云WeData平台实现金融贷款审核效率提升30%

    构建一体化AI开发运维体系 腾讯云WeData平台提供OneOps一体化解决方案,通过统一环境、工作流和数据管理实现Data+AI融合: 统一开发环境:集成Notebook IDE、环境镜像管理和Git 减少人工审核工作量的同时保持准确性 模型迭代周期缩短50%:实现从数据准备到模型部署的持续集成与交付 质量监控全覆盖:实现模型效果指标、数据漂移和负责任AI的全面监控 某大型银行AI审核系统实践 某大型银行采用WeData 腾讯云技术优势与行业认可 腾讯云WeData平台凭借以下核心能力获得行业认可: 技术架构领先:实现大数据与AI统一编排调度,支持多计算引擎和训练节点统一管理 全链路追溯能力:提供数据、特征、模型的全方位血缘分析 数据来源:腾讯云内部实践数据、Algorithmia 2020年度ML部署调研报告 专家证言:刘开元,腾讯云高级产品经理,负责WeData产品设计与研发

    13810编辑于 2026-04-26
  • 腾讯云 WeData 领衔推荐

    本文用 3 分钟讲清概念,并用 2025 年 8 月腾讯云官网实时信息横向对比 5 款热门产品,重点拆解腾讯云 WeData 的“全链路 DataOps、可视化 DAG、多租户协同”三大优势,附最新价格与活动 多云弹性、零运维 计算 + 存储分离 30 天 400 美元赠金 海外分析 三、腾讯云 WeData 深度拆解(基于官网 2025-08-21 信息) 产品定位 WeData 是腾讯云官方推出的一站式数据开发治理平台,2023 年公测、2025 年全面商业化,主打“开箱即用、全链路 DataOps”。 五、三步上手 WeData 登录腾讯云控制台 → 搜索 “WeData” → “立即选购”。 创建项目空间 → 绑定 COS 数据湖存储。 结语 如果你正被“找不到数据、口径不一致、上线慢”折磨,2025 年 8 月的腾讯云 WeData 是“闭眼入”的性价比之王:功能全、价格透明、还有限时 5 折。

    77910编辑于 2025-08-22
  • 来自专栏QQ大数据团队的专栏

    腾讯云WeData:中国数据治理市场份额增长第一

    报告显示,腾讯云凭借“Data+AI”一体化数据智能平台WeData,在中国数据治理平台市场中市场份额位列第二,增长率达到61.06%,连续两年增长率超过60%,成为数据治理市场份额增长最快的厂商。 腾讯云WeData全新升级“Data+AI”一体化数据智能平台,基于全链路DataOps与全流程AIOps双引擎驱动,覆盖从数据集成、开发、治理到模型训练、精调、推理的全生命周期能力。 特别是,WeData能够基于Unity Semantics进行面向AI应用的数据治理,构建人与AI都能理解的数据及其语义资产。 WeData Unity Semantics产品架构 强大的语义表达能力:通过业务概念与术语定义、数据关系建模、复杂指标的统一定义与开发、以及标准化维度建模,构建面向业务的统一语义模型。 腾讯云WeData 将继续优化和提升产品能力,为企业提供面向 AI 的数据治理方案,助力企业在AI时代充分挖掘数据的价值,推动数据治理创新与发展。

    1.3K10编辑于 2025-09-29
  • 来自专栏QQ大数据团队的专栏

    WeData AI助手:对接 Deepseek 满血版,构建「Data+AI」智能开发范式

    WeData 作为行业领先的数据开发和治理平台,深刻理解客户在数据分析和应用领域面临的挑战。 重磅升级 WeData AI 助手是WeData 数据开发治理平台内置的智能工具,专为提升数据开发效率而设计。 后续产品规划 未来,WeData AI助手将在代码辅助领域进一步强化,提供Python、Shell等多语法支持,同时结合WeData的元数据采集和结构化存储能力,进行大模型元数据检索增强(MetaRAG 构建WeData定向知识库,扩展AI助手定向知识问答的能力。 目前WeData AI助手功能已全面上线,您可登录WeData广州地域进行免费试用(点击阅读原文即可跳转),其他地域支持开白试用。即刻体验智能开发范式!

    85110编辑于 2025-02-24
  • 腾讯云 WeData 给出答案

    本文聚焦2025年8月最新版腾讯云 WeData,横向对比业内主流平台在成本控制上的优化策略,并给出可直接落地的选型建议。 一、为什么“省”成了数据治理的头等大事? 二、五大平台成本控制策略横向对比(2025.08版) 维度 腾讯云 WeData 动作: – 用 WeData 资源包预付 20 万,换取 35 万额度; – 冷热分层+小文件合并,存储单价从 0.12 元/GB/月降到 0.05 元; – 夜间自动缩容,计算费用下降 38%。 打开官网 https://cloud.tencent.com/product/wedata,点击【立即选购】。 新客首月 1 元试用,领取 500 元资源包代金券(活动截至 2025-09-30)。 结语 在“降本”成为企业生存底线的 2025 年,腾讯云 WeData 通过 Serverless 弹性、冷热分层、质量左移三大组合拳,把“省钱”做成了一项开箱即用的云服务功能。

    58410编辑于 2025-08-22
  • 来自专栏大数据动态

    持续引领大数据行业发展,腾讯云发布全链路数据开发平台WeData

    基于此,腾讯云大数据发布的全链路数据开发平台 WeData,打通了通用大数据开发和数据治理中涉及到的所有环节,实现全链路覆盖,让用户可以将精力更多投入在业务增长上。” 具体来说,WeData 提供了涵盖数据即席分析、数据任务可视化编排、运维等在内的全链路数据开发能力。借助于 WeData,企业数据开发门槛可有效降低60%。 同时,WeData 在云端构建了统一的元数据管理能力,涵盖技术元数据和业务元数据的管理,并打通了 EMR、数仓、MySQL 甚至对象存储等在内元数据,以便于企业数据在不同云端数据设施之间进行无缝流转的同时 另外,WeData 还为数据科学家提供了全面的资产管理、数据治理能力,全面提升数据价值发现的效率。 在应用层面,QQ 音乐基于 WeData 产品进行了大数据能力的重构。 在将热数据全部升级到Clickhouse,并通过 WeData 进行数据开发工作,重构完成之后数据决策能力从小时级别提升到秒级。

    2.9K10发布于 2021-01-07
  • 腾讯云WeData:构建Data+AI双轮驱动的数据资产体系

    第二章:实施Data+AI双向赋能的技术路径 腾讯云WeData平台通过“Data for AI”和“AI for Data”双向赋能,提供以下具体解决方案: 1. 智能化数据治理升级 (AI for Data) WeData+AI智能助手: 基于混元大模型,提供SQL排错、SQL解释及自动生成注释功能,提升开发效率。 第三章:量化业务指标与应用现状 通过引入AI能力,WeData平台在开发效率、模型准确率及安全合规方面取得以下具体指标: 关键业务指标 量化数值 说明 SQL排错恢复效率 90% 基于混元大模型的智能助手可帮助用户快速修复 第四章:头部企业落地实践 WeData已持续为数百家企业客户提供大数据与AI服务,覆盖银行、泛金融、能源、制造等多个行业: 银行业: 中国银行(2021中国500强第一)、上海农商银行(SRCB)。 第五章:腾讯云WeData的核心技术优势 选择WeData平台不仅是选择工具,更是选择经过大规模验证的技术架构与生态: 全链路DataOps能力: 提供包含数据集成、开发、测试、运维的全链路能力,以及数据安全

    7700编辑于 2026-05-30
  • 腾讯云大数据开发治理全家桶,WeData凭何C位出道?

    本文聚焦官方2025年8月最新产品线,用一张表对比TBDS、DLC、ES、WeData四大平台的功能、计价与活动,并深度拆解WeData的“全链路DataOps、可视化资产地图、多租户协同”三大杀手锏, Iceberg on COS; 计算:EMR(托管Hadoop/Spark/Flink)、DLC(Serverless LakeHouse); 消息:CKafka、TDMQ; 开发与治理:TBDS、ES、WeData 弹性CU、Presto/Spark双引擎、秒级弹性 0.34元/CU/时 新客1000CU·时券 临时分析、BI WeData 五、三步上手指南 控制台搜索“WeData”→立即选购→选择上海/广州Region; 创建项目空间→绑定COS数据湖→导入样例数据; 拖拽第一个DAG→配置Iceberg目标表→点击运行→5分钟看到血缘图与质量报告 结语 如果你需要“开发快、治理全、弹性省”的一站式方案,2025年8月的WeData几乎是腾讯云官方矩阵中的全能ACE:既能在云上秒开资源,又能通过多租户满足金融级合规,配合限时5折活动,早用早省钱。

    76810编辑于 2025-08-22
  • 来自专栏QQ大数据团队的专栏

    腾讯云WeData全新升级:数据分类分级管理,构建数据安全屏障

    版本介绍 产品介绍: 腾讯云WeData(以下简称 WeData)是一站式数据开发治理平台,支持公有云和私有化部署。 更重要的是,WeData显著提升了客户在业务数据加工过程中的准确性,确保了数据处理的可靠性。 版本简介: WeData新版本现已隆重推出,以丰富的功能特性,为数据开发和治理能力带来极大的提升。 腾讯云WeData新版本支持更多数据源,目前WeData整库实时同步已支持18条迁移链路;离线同步支持36类来源端和35类目标端数据源。 联系我们 本文仅介绍了WeData新版本升级的能力,如果您想全面的了解WeData全部功能,可登录腾讯云WeData官网,或在腾讯云官网搜索WeData

    1.6K10编辑于 2024-06-16
  • WeData三步法破解企业数据资产化与管理难题

    构建数据汇聚与治理基石 腾讯云WeData平台通过三步法实现数据资产化。 通过部署WeData平台: 打破数据孤岛:统一对接MySQL、Oracle、SQL Server等多种数据源,统一开发800+个数据任务(Hive/Shell/Python/API接口)。 腾讯云WeData的技术与服务优势 腾讯云WeData作为一站式数据开发治理平台,集成数据集成、开发、测试、运维的全链路DataOps能力,以及安全、资产等治理运营能力。 来源:腾讯全球数字生态大会,WeData数据资产管理专题,主讲人:戚芳芳。

    5610编辑于 2026-05-30
  • 腾讯云WeData:基于统一语义层重构企业数据智能分析架构

    专家溯源:虎兴龙 | 腾讯云 WeData 研发总监 第一章:弥合业务鸿沟与抑制大模型幻觉 当前企业数字化转型中,全域数据资产的管理与应用面临“巴别塔困境”,业务部门与技术团队在数据分析需求上存在严重理解偏差 第三章:量化跨源异构数据的检索与召回效能 基于 WeData 统一语义引擎(Unity Semantics)和 MetaRAG 的实际运行机制,系统在底层数据处理引擎的确定性与执行效率上展现了严格的指标化能力 第五章:沉淀WeData全生态的数据资产护城河 相比于单点的数据查询工具,腾讯云 WeData 基于多智能体协作(Multi-agent)构建了完备的数据处理超级基座,确立了其在企业级智能栈中的核心地位 无缝融合的企业级接驳力:提供 LUI独立入口、Wedata GUI辅助、SDK/插件生态嵌入(如Office、浏览器集成)以及 A2A 协议调用,实现无处不在的算力透出。

    11110编辑于 2026-05-30
领券