首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏迁移内容

    Oracle GoldenGate简介

    一、什么是Oracle GoldenGate? Oracle GoldenGate是用于实时数据集成和复制的综合软件包。 Oracle GoldenGate提供实时数据集成。 四、Oracle GoldenGate产品系列 Oracle GoldenGate产品系列中有许多产品。 Oracle GoldenGate Monitor: Oracle GoldenGate Monitor是一个基于Web的实时监视控制台,可提供企业内所有Oracle GoldenGate实例及其关联数据库的概览图形视图 Oracle GoldenGate for Big Data:的Oracle GoldenGate大数据包含内置的支持,以从写操作数据的Oracle GoldenGate跟踪记录到各种大数据对象(如, Oracle GoldenGate Application Adapters: Oracle GoldenGate应用程序适配器与 Oracle GoldenGate核心产品的安装集成在一起,以引入Java

    1K10编辑于 2022-12-01
  • 来自专栏JiekeXu之路

    OGG|Oracle GoldenGate 基础

    Manager 进程是 GoldenGate 的控制进程,源端和目标端都有这个进程,主要是负责启动、监控、重启 GoldenGate 的其他进程,报告错误及事件,分配数据存储空间,发布阈值报告等。 GGSCI是GoldenGate Software Command Interface 的缩写,它提供了十分丰富的命令来对Goldengate 进行各种操作,如创建、修改、监控GoldenGate进程等等 无需停止用户应用程序即可执行 Oracle GoldenGate 升级。 经典捕获是原始的 Oracle GoldenGate 捕获方法。您可以对 Oracle GoldenGate 支持的任何源 Oracle RDBMS 使用经典捕获,但多租户容器数据库除外。 DBA_GOLDENGATE_NOT_UNIQUE 显示所有没有主索引和非空唯一索引的表。 此视图显示的大多数表都受支持,因为它们的列包含足够的信息供 Oracle GoldenGate 维护。

    2.4K20编辑于 2022-07-14
  • 来自专栏Hadoop数据仓库

    GoldenGate安装、配置、实例化

    SWITCH LOGFILE; SELECT SUPPLEMENTAL_LOG_DATA_MIN FROM V$DATABASE; -- 输出应该为YES 或 IMPLICIT exec dbms_goldengate_auth.grant_admin_privilege

    1.1K20发布于 2019-05-25
  • 来自专栏eadela

    oracle--goldengate安装实例

    实例地址:https://www.jianshu.com/p/276fede48835

    57910发布于 2019-10-23
  • 来自专栏DB说

    GOLDENGATE DYNAMICPORTLIST相关解释

    对于普通进程的端口是否也能通过此参数控制,答案是否定.下面会进行说明. 2、那些场景需要使用DYNAMICPORTLIST分配的端口 a:参数中配置RMTHOST,这个需要远程分配端口 b:GoldenGate Director使用DYNAMICPORTLIST分配端口 c:Goldengate GGSCI窗口 d:Replicate直接路径加载(初始化时候)

    1.3K20发布于 2020-08-05
  • 来自专栏python3

    配置GoldenGate同步DDL语句(

    在配置GoldenGate同步DDL语句(2)中我们针对多种DDL语句在GoldenGate环境中的同步进行了测试,但在默认情况下replicat在复制DDL语句失败时不会在replicat report rep1 *********************************************************************** Oracle GoldenGate 另外需要注意的是如create table as select这样的建表DDL语句应该被杜绝使用,因为在goldengate复制环境中create table as select语句仍会以DDL形式被应用

    1.3K10发布于 2020-01-14
  • 来自专栏迁移内容

    Oracle GoldenGate微服务架构

    一、Oracle GoldenGate体系结构概述 下表描述了两种Oracle GoldenGate体系结构以及何时使用每种体系结构。 经典架构 微服务架构 它是什么? Oracle GoldenGate微服务体系结构是一种微服务体系结构,它使REST服务成为Oracle GoldenGate环境的一部分。 简化对Oracle GoldenGate环境的多种实现的管理,并控制用户对Oracle GoldenGate设置和监视的不同方面的访问。 但是,可以将与异构数据库关联的源Oracle GoldenGate Classic复制到具有Oracle的目标Oracle GoldenGate MA,或将源Oracle GoldenGate MA与Oracle 二、Oracle GoldenGate支持的处理方法和数据库 Oracle GoldenGate支持在整个企业的多个异构平台之间在事务级别交换和处理数据。

    2.3K20编辑于 2022-12-01
  • 来自专栏金桔

    Oracle 19C 静默安装 GoldenGate

    首先在Linux系统上安装好Oracle 19c打开Oracle 下载网站https://edelivery.oracle.com/osdc/faces/SoftwareDelivery搜索Oracle GoldenGate ,并下载V983658-01.zip 软件包Oracle 19c 静默安装 Oracle GoldenGate 19.1.0.0,解压下载的软件包并修改相关的配置[oracle@19coggmsoftware -----------------------------# Specify theinstallation option.# Specify ORA19c forinstalling Oracle GoldenGate --------------------------------------------------------------# Specify a locationto install Oracle GoldenGate /oracle/oraInventory/logs/installActions2021-07-05_04-50-54PM.logSuccessfully Setup Software.Oracle GoldenGate

    1.2K20编辑于 2023-09-06
  • 来自专栏杨建荣的学习笔记

    goldengate学习-安装篇(71天)

    goldengate算是数据同步的利器,可以在不同的库,平台间进行数据的同步,当然还是有一些bug的,不过还是优点大过缺点。 算是尝尝鲜,从官网下载了一个版本12的,可以支持11g,12c。 -rw-r--r-- 1 ogg dba 341316447 May 11 03:26 121200_fbo_ggs_Linux_x64_shiphome.zip 选择一下需要基于哪个版本的库来安装goldengate 可以配置一个goldengate得管理器。 ? 然后就是安装了。 ? 过了一会儿,就提示安装成功了。 ? 看似实在是太简单了,不过启动的时候还是碰到了两个问题。 [ogg@rac1 oggcore_1]$ ggsci Oracle GoldenGate Command Interpreter for Oracle Version 12.1.2.0.0 17185003

    1.6K120发布于 2018-03-14
  • 来自专栏DB说

    oracle resetlogs后goldengate如何继续工作

    【背景】 最近有朋友在群里面咨询oracle resetlogs后,goldengate无法继续抽取日志,如何能够继续工作. 虽然没有走上全职ogg岗位,在日常使用比较多,重新通过公众号发出来.Oracle database resetlogs 之后,sequence 直接从1 开始了,同时resetlogs_id 也变化了.这个goldengate extract 进程一直处理等在状态.查看当前磁盘上可能还存在尚未处理的日志,但是goldengate 就是不动.这个时候如何处理剩下尚未处理的归档同时处理新的resetlogs_id下产生日志了.下面将通过实验展示处理过程 【测试环境】 Database version:11.2.0.4 文件系统单实例 Goldengate version:11.2.1.0.5 【当前环境】 GGSCI (target-primary 是采用数据字典方式,而不是基于触发器方式. 4、integrated extract支持数据类型也比classic extract多.以及rac下分布式事务支持 5、Integrated Extract 是GOLDENGATE

    95720发布于 2020-08-05
  • 来自专栏DB说

    生产上还在使用GOLDENGATE HANDLECOLLISIONS

    经常有朋友遇到ogg数据不一致或者遇到ogg replicate进程abend,比如1403错误之类,然后排除原因,大部分出现问题都是配置问题(少数情况下是bug),会造成业务统计数据不准或者涉及金额更麻烦(大库就比较麻烦,尤其报表库,主库数据都删除,报表数据不准了,最后pk吧),ogg虽然入门相对简单,使用这些参数之前,一定了解作用以及什么场景下适合使用。另外hanlecollisions与allownoopdates配合使用时候,allownoopdates作用失效.

    1K20发布于 2020-08-05
  • 来自专栏DB说

    goldengate replicat优化思路以及案例讲解

    goldengate架构图】 注释:goldengate通过抽取源端日志写入trail(当然可以跳过),replicat应用trailfile中数据到目标端(可能是数据库也可能是消息队列中),replicat 【goldengate replicat参数优化】 goldengate replicat常见优化参数: grouptransops:将源端原始事务进行合并后批量提交,但是不会破坏原始事务一致性,合并是按照操作记录来计算 【batchsql限制】 1、存在lob、long等大字段时候 2、存在除主键之外不能包含唯一索引 3、语句长度不能超过25k. 3、sql导致错误,例如冲突之类 【goldengate REPLICAT RUNNING RTEST 124:11:03 00:00:01 --RETEST参数配置 replicat retest userid goldengate 参数优化 通过更改goldengate replicat参数后,grouptransops--->batchsql,性能虽然有提升,但是只有10%左右,明显没有达到期望的值且本身插入性能也没有达到期望

    2K40发布于 2020-08-05
  • 来自专栏Hadoop数据仓库

    使用RMAN duplicate做GoldenGate实例化

    https://blog.csdn.net/wzy0623/article/details/53895518 一、背景 GoldenGate从源数据库的事务日志捕获数据,并应用到目标数据库 GoldenGate使用此功能获得源数据库的读一致性映像进行目标数据库的实例化,并且对一致性映像的CSN保持跟踪。 现在需要用GoldenGate搭建一个复制环境。源和目标都已经安装配置好GoldenGate。 启动GoldenGate抽取进程 在master1上: start manager ADD EXTRACT pri_ext, TRANLOG, BEGIN NOW ADD EXTTRAIL /home 启动GoldenGate复制进程 在master2上: -- 建立检查点表 start manager DBLOGIN USERID ogg, PASSWORD 123456 # 源库上没有OGG的添加检查点表

    78111发布于 2019-05-25
  • 来自专栏JiekeXu之路

    OGG|Oracle GoldenGate 基础知识介绍(二)

    Oracle GoldenGate 最为常见的家族成员包括 GoldenGateGoldenGate Director(现更名为 GoldenGate Management Pack,但是绝大部分熟悉 GoldenGate 的人还是习惯性地称其为 GoldenGate Director,为了保证上下文的一致性,这里统一称其为 GoldenGate Director)、 GoldenGate Veridata 另外,也有不太常见的 GoldenGate for Mainframe 和 GoldenGate Adapters。 GoldenGate 产品是核心产品,GoldenGate Director 为 GoldenGate 提供友好的 GUI 配置管理界面,而GoldenGate Veridata 为 GoldenGate 注意这三者并不是一个打包的产品,比如如果您购买了 GoldenGate 软件,如果需要图形界面或需要数据校验的功能,就需要额外购买 GoldenGate Director 或者 GoldenGate Veridata

    5.2K30编辑于 2023-09-06
  • 来自专栏DB说

    GOLDENGATE内存管理以及如何正确设置内存参数

    1、goldengate如何管理内存 首先要说明是goldengate管理的内存不是物理内存,管理只是virtual memroy和swap disk,这个被称为cachesize management (COM).当goldengate进程启动后,COM向操作申请虚拟内存空间(不是真正物理内存,操作系统使用真正使用时候才会分配的机制来提高内存使用效率),只有COM真正需要实际内存空间,操作系统才会分配内存 内存消耗造成问题 根据oracle goldengate官方文档,oracle是不建议自己调整 CACHEMGR CACHESIZE,因为goldengate会根据操作系统情况自动进行优化与调整相应参数 cachesize后系统变慢甚至系统hang,关闭goldengate进行后系统恢复. 4、如何对goldengate内存进行管理与优化 首先我们为什么需要对goldengate内存进行优化和管理 ,那边我们需要搞清楚,goldengate占用内存取决那些因素: a:goldengate缓存没有提交数据大小--这个与应用设计、OLTP还是OLAP、事务大小、数据写入方式等--这个不好控制

    3K10发布于 2020-08-03
  • 来自专栏DB说

    GOLDENGATE EXTRACT在DATABASE SWITCHOVER后表现以及处理方案

    场景1:数据库SWITCHOVER切换之前停止OGG CLASSIC EXTRACT进程,切换之后修改OGG访问新主库,OGG EXTRACT进程RBA不移动也不会报错.

    94530发布于 2020-08-05
  • 来自专栏DB说

    Oracle GoldenGate 19 Microservices安装、配置以及简单数据同步

    下载地址:https://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html 【软件下载】 选择带有关键字Microservices All rights reserved. ---------------------------------------------------- Oracle GoldenGate Install 【总结】至此完成oracle goldengate 19 Microservices安装、配置,由于篇幅问题,没有对细节展开,微服务中涉及很多细节问题.由于公众号有图片上传限制,对于数据同步配置与故障篇在下一个文章输出

    5.4K31发布于 2020-08-05
  • 来自专栏开源部署

    OGG-01163 Oracle GoldenGate Delivery for Oracle, reprpt01.prm

    REPLICAT进程处于abend状态,重启也无效,具体信息如下: 一、错误信息 目标端ggserr.log 2018-07-29 10:15:56  INFO    OGG-06510  Oracle GoldenGate the following key columns for target table GGS.T_EMP. 2018-07-29 10:15:56  ERROR  OGG-01163 Oracle GoldenGate BANK in table CU.T_EMP, maximum allowable length is 20. 2018-07-29 10:15:56  ERROR  OGG-01668  Oracle GoldenGate

    60020编辑于 2022-08-17
  • 来自专栏JiekeXu之路

    Oracle GoldenGate 状态监控及自启动脚本分享

    JiekeXu 来源 |公众号 JiekeXu DBA之路(ID: JiekeXu_IT) 如需转载请联系授权 | 大家好,我是 JiekeXu,江湖人称“强哥”,很高兴又和大家见面了,今天和大家一起来看看 GoldenGate Oracle GoldenGate 是一款强大的数据同步软件,支持 1000 多种数据平台组合,本文旨在分享 Linux 平台下从 Oracle 19c 到 kafka 的数据复制。 Oracle 19c,补丁 19.15,OGG 版本为 Version 19.1.0.0.4 OGGCORE_19.1.0.0.0_PLATFORMS_191017.1054_FBO 目标端:Oracle GoldenGate op-rac2:/ogg19c(jiekexu2)$ ggsci PARAMFILE $OGG_HOME/mon_ogg.par Oracle GoldenGate Command Interpreter

    80710编辑于 2024-04-02
  • 来自专栏Hadoop实操

    0471-Oracle Goldengate实时复制Oracle数据到CDH Kafka

    作者:Thomas Gu 1 Oracle Goldengate概述 Oracle Goldengate(以下简称OGG)是业界广泛使用的准实时数据复制软件,主要基于数据库日志进行变更数据的抽取,也就是我们常说的 1.1 兼容性列表 Goldengate能够支持源端数据抽取和目标数据投递的种类和平台非常的多,几乎涵盖了目前主流的各种数据平台。 2 配置Oracle Goldengate 下面就开始Oracle Goldengate实现Oracle11204向CDH5.14 Kafka的数据复制链路 2.1 环境信息 源端 目标 数据库版本 /en/middleware/goldengate/core/18.1/oracle-db/establishing-oracle-goldengate-credentials.html#GUID-8207BAB7 执行dbms_goldengate_auth.grant_admin_privilege BEGIN dbms_goldengate_auth.grant_admin_privilege(grantee

    2.3K40发布于 2018-12-24
领券