首页
学习
活动
专区
圈层
工具
发布
首页标签大数据

#大数据

腾讯云大数据解决方案,助力客户快速构建企业级数据架构,获取数据时代核心竞争优势

大数据安全面临三大威胁,企业信任危机倒逼防护升级

用户12778382

大数据安全并非新话题,但面对日益复杂的网络威胁,服务商能否有效应对,仍是严峻考验。恶意软件可侵入企业系统,窃取甚至删除数据。大数据安全服务商需着力应对网络勒索、...

1000

ES 曾经自带"文档自动过期":0.90 的 `_ttl` 是怎么干活、又是怎么没的

岳涛

腾讯云TDP | 官方产研 (已认证)

0.90 里给 mapping 加一个 _ttl,文档到期就会被自动删掉——不用定时任务、不用 delete-by-query。这个功能 2.0 被标记废弃,5...

1910

超时不再是 5xx:ES 9.0 把它改成了 429,重试逻辑得跟着改

岳涛

腾讯云TDP | 官方产研 (已认证)

9.0 起 Elasticsearch 的超时异常从 5xx 变成 429(Too Many Requests)。这条 breaking change 不报错、...

710

日志表 Schema 治理:固定字段 + VARIANT 兜底 + 高频子列物化的三层设计,以及变更窗口怎么排

野生数据人

【摘要】日志字段变更的麻烦,多数不是"改不动",而是"没有分层"——所有字段一律建成固定列,于是每次业务侧加一个 key 都要动一次表结构。我们做日志治理时把字...

1600

让业务同学自己查日志:我们把查询入口换成 MySQL 协议的接入方案记录

野生数据人

【摘要】这篇记录的是一次"接入方案",不是查询改写。背景是日志排查的查询请求几乎全部压在少数几个会写 ES DSL 的人身上,我们想让业务、测试、算法同学能自己...

200

半结构化日志的字段治理方案:VARIANT 与固定字段表如何搭配,容量怎么规划

SelectDB技术团队

摘要:日志字段治理的难点不在存储,而在字段来源分散、枚举不可完成时如何保持口径稳定。Apache Doris 自 2.1 版本起提供 VARIANT 类型:写入...

1400

日志检索与聚合一体化架构:索引、容量与延迟规划方法

SelectDB技术团队

摘要:日志平台将检索、聚合和维表关联放在 Apache Doris 的同一条 SQL 链路中,可减少“检索出 ID—跨引擎回表—再次聚合”的数据搬运。Click...

1700

网关访问日志的写入链路架构与容量规划:以 Doris 为落地方案

SelectDB技术团队

摘要:本文面向网关访问日志这类持续高频写入场景,给出以 Apache Doris 为落地方案的写入链路架构、容量测算方法、分片与攒批参数规划,以及分阶段落地路径...

1100

大数据安全分析:瓶颈待破,未来趋向智能化与协作化

用户12777717

在纵深防护方面,传统思路亟需转变,应建立涵盖攻击路径、时间、管理与物理维度的“高维度纵深防护体系”。Gartner提出的自适应安全架构强调持续监测与响应,其基础...

1900

互联网金融洗牌加剧,大数据风控成平台突围关键

用户12777717

互联网金融竞争白热化,风控能力决定平台能否在洗牌中胜出。以P2P网贷为例,大数据正渗透风控全流程。

900

基于腾讯云构建景区票务系统实时客流统计架构

千里达.景游宝

在景区运营中,客流数据是做调度决策的核心依据。传统模式下,景区管理者往往第二天才能看到前一天的入园数据,等发现某个区域拥堵时,游客已经排起长队。

4910

ES 建索引默认给几个分片?6.x 是 5,7.0 之后是 1

岳涛

腾讯云TDP | 官方产研 (已认证)

6.x 及更早版本建索引不指定分片数,默认给 5 个;7.0 把这个默认值改成了 1。本文说说这条改动背后的"过度分片"问题,以及当年分片数定死之后到底有多难改...

27630

Apache Doris x Fluss:面向湖流一体的统一查询与分析

SelectDB技术团队

作者|陈明雨,Apache Doris PMC Chair导读:Apache Doris 5.0 多模湖仓预告(6)|场景方案篇:实时分析如何同时兼顾最新事件、...

9410

写不进去的文档,别再悄悄丢了:Failure Store

岳涛

腾讯云TDP | 官方产研 (已认证)

ES 9.1 引入 Failure Store,把 ingest 失败或 mapping 冲突的文档存下来,9.2 起对日志流默认开启。本文讲怎么开、怎么查,以...

33760

Parquet、Lance、Vortex 争的,其实是一张行号到字节的映射表。

用户12788355

这不是引擎笨,是它的文件布局从出生那天起就冲着顺序扫描去的,一次把一整列从头读到尾的吞吐。

7110

ES|QL 终于有视图了:把常用查询变成一个"虚拟索引"

岳涛

腾讯云TDP | 官方产研 (已认证)

ES 9.4 给 ES|QL 加了 Views:把一段查询定义成有名字的视图,之后在 FROM 里当索引用。本文讲清定义方式、嵌套与分支上限、预览阶段的限制,以...

24020

大数据安全分析能力如何分阶段建设

用户12778382

基于大数据的安全分析在国内已火了一段时间,各行业投入不少,但失败者也不在少数。是否存在一条稳妥路径,更值得讨论。

5710
领券