- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云TVP
运维数据生态之数据思维
运维数据根据上述运维方式的发展历程逐步构建数据生态，如果我们把运维方式的发展浓缩成运维技术提升和工具建设，那与之相对应的，运维数据的发展也有四个阶段：自动化运维能力、平台化运维能力、数据化运维能力、智能化运维能力 在数据化运维能力中，运维数据已初步形成初步数据生态标准，具备构建运维数据中台和数据可视化，同时也能对数据的进行血缘能力和影响能力的初步分析。 因此运维人员在落地数据思维中的第一步是形成初步的运维数据的生态，具备数据的输出场景能力。 （1） 具备运维数据生态 通俗点说，运维数据生态是集中了公司展业的所有数据，并让适配场景的数据进行流动。 另外还有一些文档数据，如需求文档，接口文档，知识库。 如下图所列，具备运维数据的生态基础需要将上述源数据进行采集、存储、加工、分析，最终达到应用的效果。 数据中台，建立面向运维域的数据中台，统一纳管如资源数据、告警数据、性能数据、业务数据、日志数据、工单数据、指标数据、拨测数据等，面向上层运维分析场景提供统一的数据访问路由、数据服务目录、数据接入管理、
2.9K2519发布于 2020-06-29 - 来自专栏大数据动态
腾讯云大数据发布数据生态战略，构建开源开放数仓生态
此次数据生态战略包含数据技术、数据产品、数据服务市场三个层面的内容。 首先在技术上的开源开放方面，腾讯云协同开源社区提供开放的技术体系，并通过开源的方式将自己的技术反哺给社区。 其次在产品生态开源开放方面，将臻选商业化公司的数据产品提供到与原厂产品同等的市场地位，让客户享受到更丰富和优秀的数据产品和服务。 同时开放云生态的技术能力也将有足够能力保障好企业未来数据技术演进中的技术安全性问题。 开放云生态中的客户技术实践、解决方案合作伙伴的商业化服务都将能把数据价值创新的技术、经验、商业模式，通过腾讯云培训及技术沙龙平台，传导到生态中的每一位参与者，云端企业可以以此作为数据价值创新过程中的催化剂 第二个是我们产品生态上的开放。我们将会为新创公司和商业化公司的臻选数据产品和服务提供到与自研产品同等的市场地位。让我们的客户享受到更为丰富和优秀的数据产品和服务。 第三个是我们服务生态的开放。
2.1K20发布于 2021-01-05 - 来自专栏数据处理与分析
【数据分享】中国生态功能区数据
絮絮叨叨 读完本文，你将得到一份中国生态功能区数据，以及各保护区对应的矢量范围。 数据介绍 数据概况 在数据的官方网站上，这样介绍道：在中国生态环境问题、生态系统敏感性、生态系统服务功能重要性的基础上，将一系列相同比例尺的评价图，采用空间叠置法、相关分析法、专家集成等方法，按生态功能区划的等级体系 考虑到原来的数据都是分散的zip压缩包，不是太便于使用。我对数据进行了整理，按照不同的级别将数据分成了四个层级（也就是分成了四个shp）。 在数据下载的过程中，我们发现了网站上的数据存在三种问题：1、无数据访问权限；2、无下载链接；3、点击下载链接下载下来的数据是个图片。 ->腾格里沙漠草原化荒漠生态亚区->民勤绿洲农业及沙漠化控制生态功能区 others 本次数据整理，断断续续，耗时2个月之久。
2.6K40编辑于 2022-01-26 - 来自专栏腾讯云大数据
腾讯云大数据发布数据生态战略，构建开源开放数仓生态
此次数据生态战略包含数据技术、数据产品、数据服务市场三个层面的内容。 首先在技术上的开源开放方面，腾讯云协同开源社区提供开放的技术体系，并通过开源的方式将自己的技术反哺给社区。 其次在产品生态开源开放方面，将臻选商业化公司的数据产品提供到与原厂产品同等的市场地位，让客户享受到更丰富和优秀的数据产品和服务。 同时开放云生态的技术能力也将有足够能力保障好企业未来数据技术演进中的技术安全性问题。 开放云生态中的客户技术实践、解决方案合作伙伴的商业化服务都将能把数据价值创新的技术、经验、商业模式，通过腾讯云培训及技术沙龙平台，传导到生态中的每一位参与者，云端企业可以以此作为数据价值创新过程中的催化剂 第二个是我们产品生态上的开放。我们将会为新创公司和商业化公司的臻选数据产品和服务提供到与自研产品同等的市场地位。让我们的客户享受到更为丰富和优秀的数据产品和服务。 第三个是我们服务生态的开放。
1.2K70发布于 2020-12-23 - 来自专栏深度学习与python
Lakehouse 如何重塑企业数据生态？
随着生态中各个参与者的深入合作，包括数据集成服务商、BI 工具提供商、数据库和计算存储服务商等, 将推动形成一个标准化的 Lakehouse 全套解决方案。 随着 AI 与 Lakehouse 架构的紧密结合，Python 作为 AI 生态中最通用的编程语言，其接口在整个 AI 生态中起到了至关重要的作用。 具体来说，生态成熟度包括以下几个方面：从数据摄入的角度来看，是否支持丰富的数据导入插件，尤其是如 CDC（Change Data Capture）等技术？从数据开发的角度，是否支持主流的计算引擎？ 在确定选型之后，还需考虑如何让新的 Lakehouse 架构与现有的企业生态兼容。正如我们所称的数据湖仓，它不仅仅是数据湖，还需要兼容历史数据仓库的架构。 伍翀：Lakehouse 架构凭借其灵活性、高性能和开放性，正成为企业数据管理的未来方向。当前，Lakehouse 架构在开源生态建设方面进展如何？有哪些主流的开源项目与工具推动其发展？
68110编辑于 2025-03-21 - 来自专栏ShowMeAI研究中心
图解大数据 | 导论-大数据生态与应用
ShowMeAI将在接下来的内容中逐步展开讲解大数据生态工具的应用，以及大数据的处理分析挖掘方法。 以下几点，更详细地介绍了大数据技术的相关历史和背景。 [8c78e034936c59a84feb3c784dfb1e6d.png] 3）大数据生态发展史 伴随着大数据的发展，层出不穷的大数据工具开始诞生和发展，并形成一个大数据生态，下面罗列了一些大数据生态发展史中的典型项目工具 4.大数据生态与常用工具 下面我们来了解一下大数据生态系统架构，以及应用大数据技能，完整的大数据工具技能图谱。 -编程语言 大数据生态工具应用的主流编程语言是Scala、Java，随着AI生态的快速发展，其最常用语言python也被大数据生态工具很好地支持了。 Hadoop生态体系的存储底层，用于存储管理大批量文件数据。其自带的容错机制，高度的可拓展性，让其成为现今最适用的开源分布式存储底层系统。
1K51编辑于 2022-02-25 - 来自专栏DevOps
大数据架构：全网最全大数据架构生态
简介 随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 1、数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。 Tez计算引擎在大数据技术生态圈中的存在感较弱，实际工作中很少会单独使用Tez去开发计算程序。 Flink属于新一代实时数据分布式计算引擎，其计算性能和生态圈都优于Storm。 Spark中的SparkStreaming组件也可以提供基于秒级别的实时数据分布式计算功能。 Zookeepe主要提供常用的基础功能（例如：命名空间、配置服务等），大数据生态圈中的Hadoop（HA）、HBase、Kafka等技术组件的运行都会用到Zookeeper。
1.7K10编辑于 2024-03-29 - 来自专栏腾讯云TVP
运维数据生态：数据的建设和管理
前言：在上一篇《运维数据生态：高阶落地的一些场景》中，从产品开发角度，探讨运维数据场景的高阶落地途径和方法。 1、 从数据获取渠道出发，由少到多 在初级阶段，运维数据来源局限于运维侧自身，如资源数据、监控数据、文本数据、日志数据，随着数据源接入进入全覆盖的时候，运维数据已经覆盖业务运营数据、后台支撑数据、财务数据 （1）运维数据的业务价值，如偏业务连续性的运维数据。（2）运维数据的共享，此部分的数据主要用来和业务系统之间进行共享的数据，如组织数据、技术组件数据、框架配置数据。 3、 数据的接入和接出 运维数据的接入主要为工具数据的接入，较为常见的数据来源为资产管理数据和运维自动化工具所留存的数据，而工具留存的数据存在较多的不确定性，如数据保存方式不同、数据标签不同、数据定义不同 （3）消息推送，采用消息的方式从数据源系统将数据采集到运维数据数据中台。（4）接口推送，采用接口方式从数据源系统将主数据采集到运维数据数据中台。
2.6K3227发布于 2020-07-16 - 来自专栏数据分析与挖掘
hadoop之大数据技术生态体系
?
33730发布于 2020-08-26 - 来自专栏大数据知识
从Hadoop框架讨论大数据生态
2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop 通常是指一个更广泛的概念——Hadoop 生态圈。 3）对于海量数据的场景，Lucene 面对与 Google 同样的困难，存储数据困难，检索速度慢。4）学习和模仿 Google 解决这些问题的办法︰微型版 Nutch。 除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。 2. Cloudera 开发并贡献了可实时处理大数据的 Impala 项目。 3. Hadoop 的优势（4 高） 1)高可靠性:Hadoop 底层维护多个数据副本，所以即使 Hadoop 某个计算元素或存储出现故障，也不会导致数据的丢失。
65630编辑于 2021-12-21 - 来自专栏全栈程序员必看
大数据Hadoop生态圈介绍
大数据Hadoop生态圈-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。 随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 根据服务对象和层次分为：数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层 接下来对Hadoop生态圈中出现的相关组件做一个简要介绍。 1、HDFS（分布式文件系统） HDFS是整个hadoop体系的基础，负责数据的存储与管理。 数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。 Sqoop利用数据库技术描述数据架构，用于在关系数据库、数据仓库和Hadoop之间转移数据。 它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。
1.5K20编辑于 2022-08-25 - 来自专栏公众号：Lucifer三思而后行
大数据生态圈如何入门？
大数据技术在企业项目开发中主要涉及数据采集、数据存储和数据计算三个方面：数据采集是利用采集技术将各种数据源、不同格式的数据快速采集到大数据平台。 数据存储是将采集过来的数据，按照不同应用场景，使用不同技术进行存储，为数据计算做准备。数据计算可以根据数据的时效性，对存储的数据进行离线计算和实时计算，最终的计算结果可以为企业决策提供数据支撑。 数据采集、数据存储和数据计算这三个方面是大数据工程师的必备技能。 大数据不是一项专门的技术，而是很多技术的综合应用。可以通过一系列大数据技术对海量数据进行分析，挖掘出数据背后的价值。 数据从总体上可以分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。 数据获取 数据总体可分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格遵循数据的字段类型和长度限制，主要通过关系型数据库进行存储和管理。
61711编辑于 2022-04-13 - 来自专栏钱塘大数据
大数据生态圈就是一个厨房工具生态圈
导读：大数据生态圈就是一个厨房工具生态圈。为了做不同的菜，中国菜，日本菜，法国菜，你需要各种不同的工具。
1K130发布于 2018-03-02 - 来自专栏后台及大数据开发
【原生态】Http请求数据 与 发送数据
今天项目组小弟居然问我怎么用java访问特定的地址获取数据和发送请求 Http请求都是通过输入输出流来进行操作的，首先要制定GET或者POST，默认是GET，在安全和数据量较大情况下请使用post 根据 url建立链接，读取输入输出流，从中取得相应的返回数据， http是无序的，在安全性极高的地方请使用https，但是https传输效率差不多只是http的1/10，所以除非特别必要，请谨慎选择 我将我以前写的微信开发代码贴一部分出来 ，这里就有根据地址获取请求数据和向某一个特定端口发送数据 package com.xiao.weixin.service.impl; import java.io.IOException; import String access_token = null; try { AccessToken token = weixinApiMapper.findToken();// 数据库查找没过期的 accessToken.setCreateTime(new Date()); weixinApiMapper.insertToken(accessToken);// 将新生成的token保存到数据库
79830发布于 2019-02-22 - 来自专栏灯塔大数据
【干货】大数据生态产业链分析
随着大数据炒作期的结束，国内外大量企业开始投入大数据实战，大数据生态产业链逐渐形成。整体而言，全球的大数据应用处于发展初期，中国大数据应用才刚刚起步。 目前，大数据应用在各行各业的发展呈现“阶梯式”格局：互联网行业是大数据应用的领跑者，金融、零售、电信、公共管理、医疗卫生等领域积极尝试大数据。 现阶段制约大数据发展的因素有三方面，分别是数据、技术和应用。 大数据产业链的参与者主要包括：数据提供商、分析技术提供商、基础设施提供商、业务应用提供商。 ? 数据和数据能力提供商 阿里巴巴则是手握海量数据的大数据参与者，拥有淘宝、天猫海量的在线交易数据，并融合微博、高德、友盟、UC浏览器、快的等各种应用数据，涉及金融、旅游、健康、物流等方方面面数据 国内大数据市场与国外还存在一定差距，从市场规模来看，国内的大数据产业链还只是初具雏形。
2.3K70发布于 2018-04-04 - 来自专栏腾讯云技术沙龙
聚焦大数据，云上课堂新生态
AI和大数据的发展会给行业带来哪些变革？ 腾讯云结合自身优势，从在线教育的业务营销、教学业务应用与管理方面助力行业合伙发展。 智能营销云以AI+大数据和基础资源为依托，提供精准流量获取、付费转化、持续服务的全流程解决方案。 Tips：分享内容包括但不限于大数据在教育行业研究和应用，腾讯云在线教育解决方案分享，互动课堂的搭建实例及相关领域应用、小程序实时音视频在互动教育场景下的应用…… 分享指南 主题1：大数据在教育行业研究和应用 ；行为预测，基于多年数据建模经验，深入洞察用户，提供流失、付费等预测服务，助力教育行业数据增长。 AI和大数据的发展会给行业带来哪些变革？
4.1K100发布于 2018-06-14 - 来自专栏SDNLAB
George Zhao：开源网络数据平面生态
George Zhao，目前任职华为在美国的研发公司 Futurewei Technologies，主要从事网络开源与生态发展。 在2020网络数据平面峰会上，DPDK董事会董事和FD.io技术指导委员会成员George Zhao给大家分享了主题演讲《开源网络数据平面生态》。 最火热的开源社区和生态：OpenStack（曾经） vs CNCF KubeCon（现在） 时间倒退到5-10年前，OpenStack无疑是当时最火热的开源社区和生态。 IOVisor相对于其他开源数据面在生态方面发展有些缓慢。 ? OvS是运行在虚拟化平台上的一个虚拟交换机。 在本次分享中，George Zhao主要介绍了开源网络数据平面生态，其中很多网络开源项目都是在Linux基金会托管的，Linux基金会在网络开源项目中起到了非常重要的作用，感兴趣的朋友可以登录开源项目官网查看更多内容
1.2K20发布于 2020-07-03 - 来自专栏喔家ArchiSelf
面向AI 的数据生态系统
3 工业企业的数据生态系统 一般来说，数据生态系统是一个社会技术、自组织、松耦合的系统，用于数据共享。数据生态系统的典型要素是数据生产者、数据消费者和数据平台。 然而，数据生态系统的研究仍处于早期阶段，主要集中在共享开放的政府数据。因此，需要建立一个专门针对工业企业的数据生态系统。 数据生态系统基于三种数据平台: 企业数据湖、边缘数据湖和企业数据市场。 企业数据湖构成了一个逻辑上集中的、企业范围的数据湖。 4 从狭窄领域到企业级的AI应用: 应对挑战与未来方向 数据生态系统通过解决数据挑战为工业化的人工智能铺平了道路，数据生态系统中所面临的开放性问题指出了未来的研究方向。 为了解决这些问题，将工业企业的数据生态系统作为指导框架和总体架构，所有数据挑战都将得到解决。数据生态系统的技术性质使各组织能够处理数据管理和数据治理挑战的组织方面：确定了数据角色和数据平台。
82720发布于 2021-11-25 - 来自专栏大数据，java，Python和前端
Sqoop进行Hadoop生态离线数据迁移工具
这里就可以用到Sqoop（类似工具DataX等），在传统数据库和Hadoop生态存储系统之间的数据迁移，这是一个非常好用的工具。 产品目标 完成离线数据迁移，拉取业务数据库数据。 版本选择 Sqoop-1.4.6 JDK-1.8 MySQL-5.7 Hadoop-2.6.0 概述 Sqoop是Hadoop生态数据存储系统和传统关系型数据库之间进行数据传输的一种工具，其主要特点包含 概念和原理 Sqoop底层实现是MapReduce，Sqoop是依赖于Hadoop的，下图描述了Sqoop的工作流程（主要还是连通传统RDBMS和Hadoop存储系统，在这两个生态之间进行的迁移）： Sqoop 导入原理 将数据从关系型数据库导入到Hadoop中： Sqoop与数据库Server通信，获取数据库表的元数据信息； Sqoop启动一个Map-Only的MR作业，利用元数据信息并行将数据写入Hadoop 解决办法：增加配置参数 -delete-target-dir \ 总结 Sqoop在对Hadoop生态和传统数据库之间的数据迁移做的是非常好的，但是代价也是仅仅基于Hadoop生态做得好。
70910编辑于 2025-07-09 - 来自专栏大数据开发
大数据框架：Spark 生态实时流计算
而Spark Streaming依靠着Spark生态，在流计算领域还有着不错的市场占有率。Spark Streaming也在发展当中，对自身的不足也进行改善。 Structured Streaming定义了无界表的概念，即每个流的数据源从逻辑上来说看做一个不断增长的动态表（无界表），从数据源不断流入的每个数据项可以看作为新的一行数据追加到动态表中。 Structured Streaming将实时数据当做被连续追加的表，流上的每一条数据都类似于将一行新数据添加到表中。 在Spark 3.0之后，全新的Structured Streaming UI诞生，可见Spark生态在流处理上还有不断进步的目标和空间。 关于大数据学习，Spark生态实时流计算，以上就为大家做了简单的介绍了。流计算正在成为大数据技术越来越普及的趋势，而基于Spark生态的流计算一直提供着重要的技术支持。
2K50发布于 2020-11-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号