
# 功能简介

作业timeline store的一种基于leveldb的实现。主要保存下面信息：
- start time信息，保存在starttime-ldb里面，是一个单独的LevelDB。
- entity信息，保存在entity-ldb里面，是一个单独的LevelDB，支持按照时间进行归档以及清理。
- indexed entity信息，保存在indexes-ldb里面，是一个单独的LevelDB。支持按照时间进行归档以及清理。
- domain信息，保存domain信息，保存在domain-ldb里面，是一个单独的LevelDB。
- owner信息，保存owner信息，保存在owner-ldb里面，是一个单独的LevelDB。


# 数据库详解


## starttime-ldb
starttime-ldb主要保存的是app的启动时间，保存的信息主要如下：
- 保存的key是EntityIdentifier，value是作业启动时间。
- 当前版本信息，key是timeline-store-version，value是版本信息。

## entity-ldb
entity-ldb数据库的类型是RollingLevelDB，支持按照时间创建单独的数据库。实际上是多个LevelDB数据库，只是LevelDB数据库的名称上面带了时间。方便按照时间获取对应的数据库。

在保存数据到entity-ldb里面，首先需要获取以及保存starttime。

核心代码参考：
```java
Long startTime = getAndSetStartTime(entity.getEntityId(),
          entity.getEntityType(), entity.getStartTime(), events);
```

entity-ldb里面保存和如下信息：
- ENTITY_ENTRY_PREFIX + entity type + revstarttime + entity id
- ENTITY_ENTRY_PREFIX + entity type + revstarttime + entity id + DOMAIN_ID_COLUMN
- ENTITY_ENTRY_PREFIX + entity type + revstarttime + entity id + EVENTS_COLUMN + reveventtimestamp + eventtype
- ENTITY_ENTRY_PREFIX + entity type + revstarttime + entity id + PRIMARY_FILTERS_COLUMN + name + value
- ENTITY_ENTRY_PREFIX + entity type + revstarttime + entity id + OTHER_INFO_COLUMN + name
- ENTITY_ENTRY_PREFIX + entity type + revstarttime + entity id + RELATED_ENTITIES_COLUMN + relatedentity type + relatedentity id

关键字段含义
| 字段 |  含义| 类型 | 
| ----|---|----|
| DOMAIN_ID_COLUMN        | "d".getBytes(UTF_8)    | byte[] 
| EVENTS_COLUMN           | "e".getBytes(UTF_8)    | byte[]
| PRIMARY_FILTERS_COLUMN  | "f".getBytes(UTF_8)    | byte[]
| OTHER_INFO_COLUMN       | "i".getBytes(UTF_8)    | byte[]
| RELATED_ENTITIES_COLUMN | "r".getBytes(UTF_8)    | byte[]
| ENTITY_ENTRY_PREFIX     | 3个空字符               | ---
| revstarttime            | 启动时间，由低八位存储   | byte[]



## indexes-ldb

主要是entity的索引信息，key的格式如下：INDEXED_ENTRY_PREFIX + primaryfilter name + primaryfilter value +  key


## domain-ldb

主要保存domain信息，根据作业类型的不同而不同，主要是Tez任务保存的比较多，带了作业的ID，当前数据库没有清理，可能会造成数据残留，详见：[YARN-11911](https://issues.apache.org/jira/browse/YARN-11911)

保存的信息如下：
| 信息 | key | 备注 |
| ----|----|----|
| 描述信息      | domainId + DESCRIPTION_COLUMN   | DESCRIPTION_COLUMN ="d".getBytes(UTF_8)
| owner 信息   | domainId + OWNER_COLUMN          | OWNER_COLUMN = "o".getBytes(UTF_8)
| reader信息   | domainId + READER_COLUMN         | READER_COLUMN = "r".getBytes(UTF_8)
| writer信息   | domainId + WRITER_COLUMN         | "w".getBytes(UTF_8)
| 时间信息     | domainId + TIMESTAMP_COLUMN       | TIMESTAMP_COLUMN = "t".getBytes(UTF_8),低八位为创建时间，高八位为修改时间


## owner-ldb

主要保存owner信息，根据作业类型的不同而不同，主要是Tez任务保存的比较多，带了作业的ID，当前数据库没有清理，可能会造成数据残留，详见：[YARN-11911](https://issues.apache.org/jira/browse/YARN-11911)

保存的信息如下：
| 信息 | key | 备注 |
| ----|----|----|
| 描述信息      | owner + domainId + DESCRIPTION_COLUMN    | DESCRIPTION_COLUMN ="d".getBytes(UTF_8)
| owner 信息    | owner + domainId + OWNER_COLUMN          | OWNER_COLUMN = "o".getBytes(UTF_8)
| reader信息   | owner + domainId + READER_COLUMN          | READER_COLUMN = "r".getBytes(UTF_8)
| writer信息   | owner + domainId + WRITER_COLUMN          | "w".getBytes(UTF_8)
| 时间信息     | owner + domainId + TIMESTAMP_COLUMN       | TIMESTAMP_COLUMN = "t".getBytes(UTF_8),低八位为创建时间，高八位为修改时间



作业timeline store的一种基于leveldb的实现。主要保存下面信息：

RollingLevelDBTimelineStore 详解

大数据开发工程师

编程语言

作业timelinestore基于LevelDB实现，包含starttime、entity、indexedentity、domain和owner五个独立数据库。starttime-ldb存储启动时间，entity-ldb采用RollingLevelDB按时间归档，indexes-ldb保存索引信息，domain-ldb和owner-ldb分别存储域和所有者数据。支持Tez任务数据存储，需注意YARN-11911可能导致的数据残留问题。

数据库

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

作业timelinestore基于LevelDB实现，包含starttime、entity、indexedentity、domain和owner五个独立数据库。starttime-ldb存储启动时间，entity-ldb采用RollingLevelDB按时间归档，indexes-ldb保存索引信息，domain-ldb...

RollingLevelDBTimelineStore 详解-腾讯云开发者社区-腾讯云

RollingLevelDBTimelineStore 详解

RollingLevelDBTimelineStore 详解

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐