介绍开源Compliance Framework

译自 Introducing the Open Source Compliance Framework，作者 Ian Miell。 Compliance Framework是一个开源的软件套件，旨在自动化和管理您企业的合规性任务。**您可以把它看作用于软件审计和合规的Terraform和CI。 Compliance Framework核心 核心中有一个数据库，用于跟踪“评估”、“控制”、“组件”和“证明”。 关键功能 Compliance Framework基于对开放标准的承诺而构建。 Compliance Framework的构建旨在支持这两项举措。

springboot 问题Change project compliance and JRE to

FunDA（9）－ Stream Source：reactive data streams

    上篇我们讨论了静态数据源（Static Source, snapshot）。这种方式只能在预知数据规模有限的情况下使用，对于超大型的数据库表也可以说是不安全的资源使用方式。Slick3.x已经

SDP（9）：MongoDB-Scala - data access and modeling

    MongoDB是一种文件型数据库，对数据格式没有硬性要求，所以可以实现灵活多变的数据存储和读取。MongoDB又是一种分布式数据库，与传统关系数据库不同的是，分布式数据库不支持table-join，所以在设计数据库表结构方面与关系数据库有很大的不同。分布式数据库有一套与传统观念不同的数据模式，在设计库表结构时必须从满足各种数据抽取的需要为主要目的。关系数据库设计要求遵循范式模式（normalization）库表结构，在抽取数据时再通过table-join联结关系表。因为分布式数据库不支持table-

springboot 问题Change project compliance and JRE to 1.5

Jmeter性能测试9- 登录multipartform-data

有一种登录方式，通过观察header，可以发现Content-Type为multipart/form-data，类似如下： Content-Type：multipart/form-data; boundary Jmeter配置 1，添加一个cookie管理器，保持默认为空即可，不需要手动添加cookie 2，配置登录请求，配置表单，勾选“对POST使用multipart/form-data”，其他保持默认即可

实战基于terraform-compliance实现IaC安全

terraform-compliance 是一个基于 BDD（行为驱动开发）的开源工具，专门用于执行基础设施即代码的合规性测试。 定义策略后，Terraform-compliance 之类的工具被采用来确保遵循策略。Terraform-compliance 侧重于负面测试。 Terraform-compliance 是一种免费的开源工具，它为 Terraform 配置提供了此功能。 # 运行terraform-compliance -p main.tfplan.json -f . features: ssh://git@github.com/terraform-compliance/user-friendly-features.git参考链接terraform-compliance.com

数据分区------《Designing Data-Intensive Applications》读书笔记9

分区与副本是很容易混淆的概念，我们这里离清一下两者。 数据分区的每个副本可以存储在多个节点上。这意味着，即使每个记录恰好属于一个分区，它仍然可以存储在几个不同的节点上进行容错。

IE9上传图片报错：Posted content type isnt multipartform-data

经过分析，在IE10、IE11下，HTTP请求头部已经包含了Content-Type: multipart/form-data;boundary=AaB03x部分，IE9则没有。 2.解决措施 （1）首先，在HTTP请求头部加上Content-Type: multipart/form-data，结果报错如下： Error in posting multipart/form-data Content-Type header is missing boundary （2）然后，在HTTP请求头部加上Content-Type: multipart/form-data;boundary= AaB03x，结果报错如下： Corrupt form data: premature ending 目前还未找到原因和解决方法。 参考资料： https://www.w3.org/TR/html401/interact/forms.html#form-data-set https://tools.ietf.org/html/rfc7233

MysqlDataTruncation: Data truncation: Incorrect string value: xF0x9Dx90xB6#... for column

Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9D\x90\xB6"#...' for column 'content' at ### Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9D\x90\xB6"#...' for column 'content ; uncategorized SQLException; SQL state [HY000]; error code [1366]; Incorrect string value: '\xF0\x9D column 'content' at row 1; nested exception is java.sql.SQLException: Incorrect string value: '\xF0\x9D Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9D\x90\xB6"#...' for column 'content' at

Data Guard跳归档恢复的实践(r9笔记第92天)

自前些天写了一个脚本通过shell脚本得到数据库的基本信息（一）（r9笔记第89天），今天特意测试了一下，没想到一下子发现了一个大问题。 通过这个案例可以看到Data Guard的恢复在有些时候还是有一些捷径可走，明白了原理，加上点运气，问题就可以引刃而解。

Data Analysis

Data Analysis.png

Data Analysis

read() def _read(self): file_list = glob.glob(self.dir_path) # get all name of files in data = [pd.read_csv(x, delimiter="\t") for x in progress_list] # read all the data from */progree.txt )) self.exp_info = exp_info.drop(["h1", "h2"], axis=1) # return self.exp_info, self.data_list self.compare_name = compare_name score = [x.loc[f:, "AverageTestEpRet"].mean() for x in self.data_list d = self.compare_name fig, ax = plt.subplots() for x in compare: self.data_list

Data Warehouse

OLAP):  User and system orientation: customer vs. market  Data contents: current, detailed vs. historical for OLAP: complex OLAP queries, multidimensional view, consolidation Data Warehouse: ? A data warehouse is a subject-oriented, integrated, time-variant, and nonvolatile collection of data H.Inmon data stored in data warehouse has been processed after extracation, cleaning, transformation, Data Warehouse model : dimensions and measures, you can locate some data by dimension and see the data

Data visualisation

Lecture 6: Data visualisation -be able to explain the motivation for data visualisation Converting data into a visual format Reveals characteristics of the data, relationships between objects or relationships between features Simplifies the data Humans are very good at analysing information in a visual format Spot trends, patterns, outliers Visualisation can help show data quality Visualisation helps tell some clustering Could be losing some information due to 2D nature Can find the cluster Can find how data

Data augmentation

只有这样才能确保神经网络学到的特征更加全面 但在现实中，若想达到以上的目的要付出巨大的代价，并且还要对照片上出现的东西进行准确标注，另外对于一些稀有的物种信息收集更是十分困难 因此我们这里介绍一些为神经网络提供更多数据的方法——数据增强（Data import torch.nn.functional as F from torchvision import datasets, transforms train_loader = torch.utils.data.DataLoader /data', train=True, download=True, transform=transforms.Compose([ import torch.nn.functional as F from torchvision import datasets, transforms train_loader = torch.utils.data.DataLoader /data', train=True, download=True, transform=transforms.Compose([

Python Data Structures - C3 Data Structures

Python数据结构篇(3) 数据结构 参考内容： 1.Problem Solving with Python Chapter 2 Algorithm Analysis Chapter 3 Basic Data r, 5) insert_right(r, 6) insert_right(r, 7) print(r) l = get_left_child(r) print(l) set_root_val(l, 9) self.perc_down(i) i=i-1 a_list=[9, 6, 5, 2, 3]; bh=BinHeap(); bh.build_heap(a_list); print

vue data

var data = { a: 1 } var vm = new Vue({ 　 data: data }) vm. $data === data // -> true vm.a === data.a // -> true // 设置属性也会影响到原始数据 vm.a = 2 data.a // -> 2 // 反之亦然 data.a = 3 vm.a // -> 3 ?

Modern Data Stack 下 Data Integration 生态（上）

modern data stack 几大核心是：cloud 、open-source 、SaaS business models。 ，本文会重点讨论下 Modern data stack 本身，还有 Gartner 对 data integration 的理解。 后面还有一篇讨论具体的在 modern data stack 下面 data integration 都有些典型公司。 自助式分析：The rise of self-service analytics to democratize data exploration 除了上面几点，modern data stack 核心变化下图有总结 ；不是特别符合现在所说的 modern data stack 的逻辑。

Modern Data Stack 下 Data Integration 生态（下）

前言 上一篇介绍了什么是 modern data stack,这一篇继续来梳理下，在modern data stack 下面常见的产品都有哪些。 pipelines, streaming analytics, data integration, and mission-critical applications. kafka 核心的能力还是在分发 Data transformation and modeling 分类说明 这个主要是和数仓结合，数仓的上层管理数据转换和模型构建。 Census，其他还有Hightouch 和 Omnata 把数仓数据挪到 SaaS 工具中，不需要写代码，只需要 SQL 简单总结 Modern data stack 下面 data integration Modern data stack 都在不同层面去降低客户使用数据的难度以及帮助发现客户的价值，典型的 dbt，reverse etl 。