介绍开源Compliance Framework

译自 Introducing the Open Source Compliance Framework，作者 Ian Miell。 Compliance Framework是一个开源的软件套件，旨在自动化和管理您企业的合规性任务。**您可以把它看作用于软件审计和合规的Terraform和CI。 Compliance Framework核心 核心中有一个数据库，用于跟踪“评估”、“控制”、“组件”和“证明”。 关键功能 Compliance Framework基于对开放标准的承诺而构建。 Compliance Framework的构建旨在支持这两项举措。

springboot 问题Change project compliance and JRE to

springboot 问题Change project compliance and JRE to 1.5

实战基于terraform-compliance实现IaC安全

terraform-compliance 是一个基于 BDD（行为驱动开发）的开源工具，专门用于执行基础设施即代码的合规性测试。 定义策略后，Terraform-compliance 之类的工具被采用来确保遵循策略。Terraform-compliance 侧重于负面测试。 Terraform-compliance 是一种免费的开源工具，它为 Terraform 配置提供了此功能。 # 运行terraform-compliance -p main.tfplan.json -f . features: ssh://git@github.com/terraform-compliance/user-friendly-features.git参考链接terraform-compliance.com

『 论文阅读』10 CHALLENGING PROBLEMS IN DATA MINING RESEARCH

Abstract 介绍数据挖掘中的10个具有挑战性的问题，分析数据挖掘问题出现位置的一份高级指南。 Scaling Up for High Dimensional Data and High Speed Data Streams（高维数据&高速数据流） 一个挑战是如何设计分类器来处理超高维分类问题。 Distributed Data Mining and Mining Multi-Age 如何挖掘多种异构数据源：多数据库和多关系挖掘。 adversary data mining. 10. Reference http://www.cs.uvm.edu/~icdm/10Problems/10Problems-06.pdf

Spring Data Jpa 中竟然有 10 种默认方法前缀

我一直觉得 Spring Data Jpa 用的少，没想到最近有好几个小伙伴问 Jpa 的问题，想了想，我就把我知道的关于 Jpa 的一些知识点，整理一下写几篇文章和大家分享下，今天就先来看个简单的。 小伙伴们都知道，Spring Data Jpa 有一个“神奇”的功能，就是我们只需要按照既定的规则去定义方法名，就不用自己写 SQL 了，至于具体的实现原理，松哥在 2019 年的文章中就已经介绍过了， 今天是想和大家捋一捋 Spring Data Jpa 所支持的方法前缀问题。 我们日常开发中，如果用到了 Spring Data Jpa，用的最多的就是 findXXX 了，有的人可能是用 getXXX 或者 readXXX，我觉得这几个是用的最多的几个了，其实 Spring Data 小结 好啦，这就是松哥跟大家介绍的 Spring Data Jpa 中数据库操作方法默认的 10 种前缀，当然，如果这些前缀无法满足操作，那么就可以上 @Query 注解了，这是另外一个话题了，以后聊。

事务与隔离级别------《Designing Data-Intensive Applications》读书笔记10

1983年，Andreas Reuter and Theo Härder 提出了事务之中重要的四个特性：

Active Data Guard初探（一） （r10笔记第76天）

对于Active Data Guard，我是这样想的，可能会有很多不对的地方，互相讨论，一起补充吧。 如果有一天我成了Oracle的产品架构师，时光倒退10年，那个时候还是9i,10g的年代，现在摆在我面前的一个艰巨的任务那就是Data Guard的可用性，易用性的问题，刚刚从xx部门得到了一份数据，可以看到目前的 Data Guard尽管提供了Physical Standby和Logical Standby，但是显然客户对于的Physical的接受程度要远高于Logical,毕竟能够保证数据的一致性，物理一致性的可靠性是毋容置疑

Data Analysis

Data Analysis.png

Data Analysis

read() def _read(self): file_list = glob.glob(self.dir_path) # get all name of files in data = [pd.read_csv(x, delimiter="\t") for x in progress_list] # read all the data from */progree.txt # clean info info = pd.DataFrame(info) exp_info = info[[2, 3, 4, 5, 7, 10, 11, 12]] )) self.exp_info = exp_info.drop(["h1", "h2"], axis=1) # return self.exp_info, self.data_list d = self.compare_name fig, ax = plt.subplots() for x in compare: self.data_list

Data Warehouse

OLAP):  User and system orientation: customer vs. market  Data contents: current, detailed vs. historical for OLAP: complex OLAP queries, multidimensional view, consolidation Data Warehouse: ? A data warehouse is a subject-oriented, integrated, time-variant, and nonvolatile collection of data H.Inmon data stored in data warehouse has been processed after extracation, cleaning, transformation, Data Warehouse model : dimensions and measures, you can locate some data by dimension and see the data

Data visualisation

Lecture 6: Data visualisation -be able to explain the motivation for data visualisation Converting data into a visual format Reveals characteristics of the data, relationships between objects or relationships between features Simplifies the data Humans are very good at analysing information in a visual format Spot trends, patterns, outliers Visualisation can help show data quality Visualisation helps tell some clustering Could be losing some information due to 2D nature Can find the cluster Can find how data

Data augmentation

只有这样才能确保神经网络学到的特征更加全面 但在现实中，若想达到以上的目的要付出巨大的代价，并且还要对照片上出现的东西进行准确标注，另外对于一些稀有的物种信息收集更是十分困难 因此我们这里介绍一些为神经网络提供更多数据的方法——数据增强（Data import torch.nn.functional as F from torchvision import datasets, transforms train_loader = torch.utils.data.DataLoader /data', train=True, download=True, transform=transforms.Compose([ import torch.nn.functional as F from torchvision import datasets, transforms train_loader = torch.utils.data.DataLoader /data', train=True, download=True, transform=transforms.Compose([

Python Data Structures - C3 Data Structures

Python数据结构篇(3) 数据结构 参考内容： 1.Problem Solving with Python Chapter 2 Algorithm Analysis Chapter 3 Basic Data 5, 2, 3]; bh=BinHeap(); bh.build_heap(a_list); print(bh.heap_list) print(bh.current_size) bh.insert(10

vue data

var data = { a: 1 } var vm = new Vue({ 　 data: data }) vm. $data === data // -> true vm.a === data.a // -> true // 设置属性也会影响到原始数据 vm.a = 2 data.a // -> 2 // 反之亦然 data.a = 3 vm.a // -> 3 ?

Modern Data Stack 下 Data Integration 生态（上）

modern data stack 几大核心是：cloud 、open-source 、SaaS business models。 ，本文会重点讨论下 Modern data stack 本身，还有 Gartner 对 data integration 的理解。 后面还有一篇讨论具体的在 modern data stack 下面 data integration 都有些典型公司。 自助式分析：The rise of self-service analytics to democratize data exploration 除了上面几点，modern data stack 核心变化下图有总结 ；不是特别符合现在所说的 modern data stack 的逻辑。

Modern Data Stack 下 Data Integration 生态（下）

前言 上一篇介绍了什么是 modern data stack,这一篇继续来梳理下，在modern data stack 下面常见的产品都有哪些。 pipelines, streaming analytics, data integration, and mission-critical applications. kafka 核心的能力还是在分发 Data transformation and modeling 分类说明 这个主要是和数仓结合，数仓的上层管理数据转换和模型构建。 Census，其他还有Hightouch 和 Omnata 把数仓数据挪到 SaaS 工具中，不需要写代码，只需要 SQL 简单总结 Modern data stack 下面 data integration Modern data stack 都在不同层面去降低客户使用数据的难度以及帮助发现客户的价值，典型的 dbt，reverse etl 。

Data Vault初探（三） —— 建立Data Vault模型

AUTO_INCREMENT COMMENT '产品ID', product_name varchar(20) DEFAULT NULL COMMENT '产品名称', unit_price decimal(10,4 DEFAULT NULL COMMENT '订单ID', product_id int(11) DEFAULT NULL COMMENT '产品ID', unit_price decimal(10,4 注意Data Vault模型中的每个关系都是多对多关系。 所有源库中用到的表的非键属性都要放到Data Vault模型中。 load_dts timestamp, load_end_dts timestamp, record_source varchar(100), unit_price decimal(10

Data Guard搭建困境突围（一）(r10笔记第17天)

在Oracle 10g的中搭建Data Guard环境真是一个纠结，目前大体都是采用两种方式，一种是rman备份，一种是duplicate的方式，但是这两个地方不够让我满意，一来是rman备份数据量不小 rman的方式同步来得顺心顺意，所以在10g中我是不怎么喜 欢duplicate方式。 当然11g终于改进了一把，这种方式成了我搭建Data Guard的不二之选。 最近碰到一个比较纠结的问题就是在主备库空间资源不足的情况下，如何在10g版本中顺利搭建Data Guard环境。大体的情况如下： ? ，这样在10g就很不规范而且有一定的风险。

数据编织 (Data Fabric) vs 数据网格 (Data Mesh)

概念 近来，数据管理领域的热词也是不少，从国外来的数据编织 (Data Fabric) 和数据网格 (Data Mesh) 是两个经常被提及的新话题。 Gartner给数据编织(Data Fabric) 的定义如下： Data Fabric is a design concept that serves as an integrated layer of data and connecting processes. Forrester给出数据网格 (Data Mesh) 的定义如下： Data Mesh is a decentralized sociotechnical approach to share, access 参考 https://www.datanami.com/2021/10/25/data-mesh-vs-data-fabric-understanding-the-differences/