首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏爱可生开源社区

    SQL审核 | SQLE-SQL审核平台体验报告

    ,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 需求分析 产品定位 互联网时代,一个 app 可能承载成百上千万用户的使用;其业务规模之大,更新迭代之快,众多业务线日常上线 SQL 之多;DBA 对上线 SQL审核和执行工作变得十分繁忙,如何高效的保障 用户细分 主要使用人员:开发人员和 DBA ;开发人员希望便捷、高效、自主可控的上线业务 SQL ;DBA 希望便捷、高效、安全、高质量的审核 SQL 上线。 功能体验分析 (1)创建SQL工单-SQL语句不支持输入联想,建议增加输入联想,提高录入效率 (2)创建SQL工单-SQL语句对于明显语法错误不能及时提示,建议增加语法错误提示,提前发现明显问题 (3) 创建SQL工单-SQL语句输入框高度过高,点击审核后不方便查看到结果,建议降低高度增加宽度 (4)创建SQL工单-工单不支持自定义上线时间,同时也不支持定时上线 表现层 平台整体以白灰色色调为主,配色稳重简约

    2.5K20发布于 2021-11-30
  • 来自专栏爱可生开源社区

    SQL 审核 | 一键轻松完成 SQL 审核

    ,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 支持快速审核 SQL 现在,您可以直接提交需要审核SQL,无需创建工单,即刻获得审核结果。这个全新的功能将带来更快速、更高效的审核体验。 来一起简单体验一下: 进入 “项目” 页面后,左边栏增加了 “SQL审核” 功能选项,点击后展开的是 SQL 审核的历史审核记录列表。 SQL 审核功能 点击右上角的 “创建审核”,就可以开始审核啦! 与工单审核不同的是,新功能还额外支持不连接数据源的静态审核,可以在没有运行时环境的情况下,对 SQL 进行全面的语法和语义分析。 SQL 语句审核 编辑好 SQL 之后点击编辑框下方的 “审核” 按钮,即可查看到审核结果。审核结束后,可以回到审核记录列表追溯到每次审核的信息。 审核结果 2.

    83110编辑于 2023-09-20
  • 来自专栏爱可生开源社区

    SQL审核 | 如何使用 SQLE 进行开发阶段 SQL 审核

    二、 功能介绍 SQLE 的开发阶段 SQL审核主要是通过 SQLE 的功能审核任务来完成的,该功能定位是应对全场景 SQL 质量管控解决方案,能够在应用开发、测试、上线、生产等不同阶段对 SQL 进行质量管控 将 SQL 采集与SQL审核结合对数据库进行长期审核,目前支持Mybatis 扫描,慢日志,库表元数据,TopSQL ,应用程序 SQL 抓取(java应用)的场景审核。 应用开发阶段可以通过审核任务的 Mybatis 扫描类型的任务对应用代码做实时审核,Mybatis 扫描的审核任务需要通过 SQLE 提供的 Scanner 工具进行SQL采集并推送到 SQLE 进行SQL 因此在开发阶段也可以将SQL审核作为一个检查模块集成进CI流程。将 SQL审核事宜前置到开发阶段能够减少后期SQL审核的压力。 当jenkins任务触发时会进行SQL审核 Jenkins 集成后进行SQL审核的效果如下两张图所示: [sunjian0331-4.png] [sunjian0331-5.png] 审核结果会立即通过

    1.3K30编辑于 2022-04-06
  • 来自专栏爱可生开源社区

    SQL审核 | 如何使用 SQLE 进行开发阶段 SQL 审核

    二、 功能介绍 SQLE 的开发阶段 SQL审核主要是通过 SQLE 的功能审核任务来完成的,该功能定位是应对全场景 SQL 质量管控解决方案,能够在应用开发、测试、上线、生产等不同阶段对 SQL 进行质量管控 将 SQL 采集与SQL审核结合对数据库进行长期审核,目前支持Mybatis 扫描,慢日志,库表元数据,TopSQL ,应用程序 SQL 抓取(java应用)的场景审核。 因此在开发阶段也可以将SQL审核作为一个检查模块集成进CI流程。将 SQL审核事宜前置到开发阶段能够减少后期SQL审核的压力。 当 jenkins 任务触发时会进行SQL审核 Jenkins 集成后进行SQL审核的效果如下两张图所示: 审核结果会立即通过 Jenkins 的任务返回,当 SQL 不合规触发规则建议,可以看到上图所示的构建失败的结果 本文关键字:#SQLE# #SQL审核# #事前审核#

    1.8K30编辑于 2022-04-06
  • 来自专栏PawSQL,在线的自动化SQL优化工具!

    SQL审核 | PawSQL的审核规则体系

    如上文所述,PawSQL审核引擎的设计目标是使用尽量少的审核规则,覆盖尽可能全的SQL语法和结构,确保尽量高的审核正确率。 PawSQL,公众号:PawSQLPawSQL审核 | SQL审核引擎的设计目标 基于以上的三个目标,PawSQL设计了自己的SQL审核规则体系。 PawSQL的审核规则体系是以SQL对数据库的操作类型分成三大类,即对象设计、对象操作和数据操作。 对象设计的审核审核对象虽然是SQL语句,但是其实它是对SQL操作的结果进行审核。 这些数据操作语句的不恰当写法可能会导致SQL在正确性、安全性、可维护性、性能方面的各种问题,PawSQL针对数据操作语句从这四个角度共设计了85个审核规则。

    1.1K10编辑于 2024-08-20
  • 来自专栏爱可生开源社区

    SQL审核 | SQLE 全面支持 TiDB 审核

    1.2206.0-pre1 SQLE Release Notes SQL审核工具 SQLE 1.2206.0-pre1 于今天发布。以下对新版本的 Release Notes 进行详细解读。 文章主要分为以下三部分内容: 一、SQLE 项目介绍 二、新版本主要功能介绍 三、完整的release信息 一、SQLE 项目介绍 爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者,支持多场景审核 ,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 支持TIDB审核插件【企业版】 SQLE通过插件的形式支持TiDB的审核,我们调研了MySQL与TiDB的部分差异,在TiDB插件内引入了大部分MySQL的审核规则,并去掉TiDB不兼容的场景,使得SQLE 支持TiDB专属审核规则【企业版】 group by语句必须包含select列表中的所有非聚合列 检查 SQL需要遵守 'MySQL的ONLY_FULL_GROUP_BY' 模式;例如:select a

    2.4K20编辑于 2022-09-26
  • 来自专栏PawSQL,在线的自动化SQL优化工具!

    PawSQL审核 | SQL审核引擎的设计目标

    前言 经常可以看到市面上的SQL审核工具号称自己审核规则很多,支持的数据库类型很全。 稍微复杂一点的SQL就报语法错误;或是出现大面积的误报或漏报的情况。审查规则越多越好吗?市场上到底需要什么样的SQL审核引擎?看一下SQL优化领域的领先厂商PawSQL如何设计它的SQL审核引擎。 PawSQL审核引擎的设计目标 简单来说,PawSQL审核引擎的设计目标就是:使用尽量少的审核规则,覆盖尽量全的SQL语法和结构,确保尽量高的审核正确率。 目标1. 1.1 抽象化 想要审核规则尽量少,但是覆盖度却尽量广,就需要对审核规则的模式进行抽象化,这样才能用同一个规则覆盖不同的数据库类型的SQL,不同的SQL写法。 = NULL 大部分审核引擎都只进行条件中的`=NULL`审核,可以对上面的SQL进行警告。

    1.6K10编辑于 2024-08-20
  • 来自专栏DBA随笔

    SQL审核的进展

    最近完成了SQL审核功能的上线,发现用户体验上面还是存在一些问题,具体有以下几点: 1.关于字段注释的建议比较多,这些建议开发人员可能没有必要每个字段都进行注释; 2.有些SQL的建议太多,看到之后直接懵了 ,不知道从哪儿下手; 3.有些任务比较紧急,SQL审核方面的任务太多,容易拖延实际工期; 针对以上问题,今天主要想的是按照一定的重要程度讲SQL审核结果进行分类,目前分为必须修改的错误SQL、警告 SQL以及待完善SQL,并且通过将不同的错误状态码按照一定映射关系映射到不同的审核等级上进行分类展示,这样可以高效的处理严重的问题,对于不严重的问题,则可以后续处理,让SQL审核模块更加试用。 今天的主要任务是将那些SQL审核的错误代码进行切分,利用代码进行前后端的分类、抽取、整理等工作,这里就不展示结果了,主要的成果将在这些任务完成之后进行集中展示。从而实现最终的功能。 今天就这么多,做的工作比较琐碎,改天整理一版出来作为最近SQL审核的最终成果。

    70510发布于 2019-11-06
  • 来自专栏DBA随笔

    SQL审核工具发布

    SQL审核工具发布的思考 关于SQL审核发布 今天将前段时间做的SQL审核工具做了一场发布,邀请了一些后台和前端的开发同事,他们平时可能没有机会坐下来仔细的去审核自己写的SQL,今天通过SQL 审核工具的发布,大家一起聊了聊在写SQL的方面的一些经验和积累,总体来讲效果还是不错的。 由于我们的SQL审核工具具有打分的功能,可以根据当前这个SQL的执行情况,按照公司的开发规范给出一定的分数值,这种直观的反馈还是很吸引人的。 在今天的发布会当中,我们设定了有奖竞猜环节,就是说我们给出一句SQL,让开发人员去猜这个SQL可以打多少分,分数最接近的那个同学就可以得到我们的奖品,大家的兴致还是很高的,都在认真的审视这个SQL,然后通过自己的经验去分析结果 第三、在SQL审核工具的发布会上,大家还是找出了工具中存在的一些问题,可能确实存在一些语句,我们审核的不到位,比如说一个字段的注释是“电话号”,但是实际上字段类型给定的是char(256),这种情况除了人工

    1.1K10发布于 2019-11-06
  • 来自专栏爱可生开源社区

    SQL审核 | SQLE 支持 IDE 审核,开发人员可即时自助审核 SQL

    ,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 新增IDE(Jetbrains系列)审核插件 SQLE的该插件满足开发人员在开发阶段进行实时自助式的静态SQL审核,实现开发阶段审核上线等各个SQL开发阶段的SQL开发规范。 配置完成后,在开发过程中选中需要审核SQL, 支持同时审核多条SQL 点击右键, 选中 [SQLE] - [Audit] , 也可以使用快捷键 [Ctrl] + [Shift] + [H] 插件会以弹窗的形式将审核结果进行展示 ,即当某个存在问题的SQL被修复后SQLE是无法感知到的,依然会对该SQL进行审核。 因此对于智能扫描类的场景提供增量审核的模式,可以忽略到一段时间内不再出现的SQL,仅对某段时间以来的SQL进行审核

    1.2K40编辑于 2022-09-26
  • 来自专栏爱可生开源社区

    SQL审核 | SQLE 新增部分 MySQL 审核规则!

    ,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 MySQL 审核场景化改造兼容事后审核模式 目前,SQLE的SQL审核在设计之初是为了满足SQL上线的审核,随着产品发展,我们支持了多场景下的事前事后审核SQL上线的,在部分智能扫描的场景里(慢日志扫描,库表审核等)都是已经上线后的SQL,不应该进行SQL上线的限制。 (2).目前的SQL 审核对不同场景审核的兼容性不友好。 SQLE的SQL审核在设计之初是为了满足SQL上线的审核,通过上下文关联和基础对象验证满足上线SQL的正确性校验,这些在事后审核的场景下过于严格且审核SQL是已执行过的(慢日志的SQL),导致部分SQL

    2.4K30编辑于 2022-09-26
  • 来自专栏爱可生开源社区

    SQL 审核 | 支持自定义审核规则

    2.2307.0-pre2 SQLE Release Notes SQL 审核工具 SQLE 2.2307.0-pre2 于今天发布。以下对新版本的 Release Notes 进行详细解读。 ,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 支持自定义审核规则 当用户根据业务需求需要创建新的审核规则时,可以使用平台的自定义规则功能。目前,用户可以在平台上通过正则表达式自定义 SQL 审核的规范,且新建的审核规则将作为全局资源使用。 调整了审核 SQL审核结果的页面布局,提升用户体验。 2. 增加了对 SQL 分析结果的展示,用户可以查看更完整的审核结果。 SQL 分析结果展示 [#1653] 支持自定义审核规则:正则匹配 优化: [#1627] 解决慢日志表扫描任务中,展示 SQL 语句报错的问题 社区版和企业版功能对比 详情页面:https://actiontech.github.io

    1K20编辑于 2023-08-18
  • 来自专栏爱可生开源社区

    SQL审核 | 如何用 SQLE 自动审核 Java 应用

    应用的 SQL 抓取和审核; 增加了 Db2 审核插件,支持 Db2 审核工单并上线; 新增了 37 条 MySQL 审核规则,如检查 DDL 是否创建了冗余的索引; 其他体验优化和 Bug 修复。 SQL 的自动采集和统计,用户可以在 SQLE 上通过语句池页面统览应用内的 SQL 的分类与统计,迅速掌握应用内 SQL 的情况; 支持手动或自动审核 SQL ,用户可以在审核报告中知晓应用的 SQL 是否符合预设的审核规则,无论是开发人员还是 DBA 都能实时了解正在运行的业务 SQL 执行状况。 ,可以看到目前应用已经执行的 SQL ; 查看审核报告,用户可以通过审核任务的审核报告了解到应用的 SQL 是否符合预设审核规则以便及时作出调整。 开发人员和 DBA 可以通过「审核报告」、「审核任务的 SQL 语句池」等功能完全掌握应用内的 SQL 审核结果、执行情况以及统计信息,完成了从「开发」直至「上线」这一过程中的 SQL 质量管控。

    1.6K10编辑于 2022-04-06
  • 来自专栏爱可生开源社区

    SQL审核 | SQLE 已支持 OceanBase MySQL 模式审核

    1.2207.0-pre1 SQLE Release Notes SQL审核工具 SQLE 1.2207.0-pre1 于今天发布。以下对新版本的 Release Notes 进行详细解读。 ,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 支持OceanBase MySQL模式审核插件【企业版】 SQLE通过插件的形式支持OceanBase MySQL模式的审核,我们调研了MySQL与OceanBase的部分差异,在OceanBase-MySQL 插件内引入了大部分MySQL的审核规则,并去掉OceanBase MySQL模式不兼容的场景,使得SQLE审核能完全兼容OceanBase MySQL模式。 [#666] 修复MySQL的lower_case_table_names配置为2时,部分审核进行库表检查不符合预期的问题; [#667] 修复当MySQL审核语句包含系统表时,SQLE审核会提示表不存在的问题

    2K20编辑于 2022-09-26
  • 来自专栏爱可生开源社区

    SQL审核 | SQLE 1.2112.0 来啦!

    1.2112.0 SQLE Release Notes SQL审核工具 SQLE 1.2112.0 于今天发布。 一、SQLE 项目介绍 爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者,支持多场景审核,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 sqle 文档 https://actiontech.github.io/sqle-docs-cn/ 发布信息 https://github.com/actiontech/sqle/releases 数据审核插件开发文档 ,提高单个规则的定制灵活性度 [#121] 增加规则配置项,提高规则的适用范围 [#129] SQL输入支持输入联想,补全关键字,提高录入效率 [#171] 数据源支持域名,支持录入并审核云数据库 优化 "改表时,表空间超过指定大小(MB)审核时输出osc改写建议" 触发时导致程序崩溃的问题

    54320编辑于 2022-01-04
  • 来自专栏爱可生开源社区

    SQL 审核 | SQLE 2.2308.0 来啦!

    ,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 :只上传sql,不审核sql -S, --skip-error-sql-file; 跳过无法解析的sql文件 3. 进入平台,可以看到目前应用已经执行的 SQL。 4. 查看审核报告,用户可以通过审核任务的审核报告了解到应用的 SQL 是否符合预设审核规则,以便及时作出调整。 2. SQL 审核 | SQLE 2.2306.0 来啦! SQL 审核 | SQLE 2.2305.0 来啦! SQL 审核 | SQLE 2.2304.0 来啦! SQLE 进行开发阶段 SQL 审核 关于 SQLE 爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者,支持多场景审核,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL

    62950编辑于 2023-09-09
  • 来自专栏爱可生开源社区

    SQL审核 | SQLE 1.2202.0 来啦!

    1.2202.0 SQLE Release Notes SQL审核工具 SQLE 1.2202.0 于今天发布。 一、SQLE 项目介绍 爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者,支持多场景审核,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 [#269 ] 增加审核任务:支持 MySQL 数据库进行库表结构审核 [#299 ] 增加审核任务:支持 Oracle 数据库 TopSQL 抓取并审核 [#307] 增加审核任务:支持 Java 应用的运行 SQL 抓取并审核(企业版功能) [#259] 增加 Db2 审核插件,支持 Db2 审核工单并上线,参考插件开发文档:https://actiontech.github.io/sqle-docs-cn ] 修复在开启索引优化建议的情况下,审核多表 join 的 SQL 时失败,程序 panic 的问题 [#273] 修复开启慢日志的审核任务在 sqle 界面上删除之后,对应的 scanner 程序 panic

    51330编辑于 2022-04-06
  • 来自专栏爱可生开源社区

    SQL审核 | SQLE 1.2201.0 来啦!

    1.2201.0 SQLE Release Notes SQL审核工具 SQLE 1.2201.0 于今天发布。 一、SQLE 项目介绍 爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者,支持多场景审核,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。 ,审核合格的 SQL 才可以提交工单;该功能可灵活配置,默认存在 error 级别的审核提示不允许提交工单 [#209] 增加 SQL Server 审核插件( https://github.com/actiontech /sqle-oracle-plugin ),支持 SQL Server 审核工单并上线,参考插件开发文档:https://actiontech.github.io/sqle-docs-cn/3.modules /3.7_auditplugin/auditplugin_development.html [#110] 支持页面展示 SQLE 前后端版本信息 [#202] 提交审核工单时,可以给每条 SQL 增加独立的备注

    57720编辑于 2022-02-09
  • 来自专栏大侠之运维

    开源的SQl审核平台

    5.1k star,强大、功能全、开源的SQl审核平台,推荐!!! 1 Archery简介Archery是一款开源的sql审核平台,支持大部分数据库,功能比较齐全如下为该平台支持的功能清单功能清单====数据库 查询审核执行备份数据字典慢日志会话管理账号管理参数管理数据归档 /fixtures/auth_group.sqlpython3 manage.py dbshell<src/init_sql/mysql_slow_query_review.sql#创建管理用户python3 python-mysql-replicationLDAP django-auth-ldap序列化 simplejson时间处理 python-dateutil功能依赖可视化 pyechartsMySQL审核 审核sql查询在线查询模块适用于简单的SQL查询和日常问题排查,通过工作流控制查询权限的申请和审核,并强制对SQL语句进行改写以限制最大查询数量,同时记录所有的查询日志方便审计。

    1.1K10编辑于 2024-09-27
  • 来自专栏blog(为什么会重名,真的醉了)

    SQL Server审核审计

    一个服务器审核对象可以同时配置一个服务器审核规范、一个或多个数据库审核规范 创建审核对象 创建一个服务器审记对象 ①sql语句实现 create server audit myAudit to file ,可以延迟的毫秒数 on_failure = continue --当不能写入目标时,sql实例是否关闭 ) ②界面实现 右键新建审核->设置路径参数等即可。 创建服务器审核规范 创建一个服务器审记规范,实现(a)审记BACKUP与RESTORE, (b)数据库修改的审记 ①sql语句实现 --注:查看服务器审记规范可审记的活动 Select name from ->添加相应审核操作类型 创建数据库审核规范 对数据库创建一个数据库审记规范,需要审记对(a)表STU的查询、(b)更新操作 ①sql语句实现 --注:查看,数据库审记规范可审记的活动 Select ->添加相应审核操作类型 启用审核sql语句实现 alter server audit specification mySevSpf with (state=on) alter server

    98220编辑于 2022-05-08
领券