首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏caoqi95的记录日志

    Unsharp Masking

    简单说就是对输入图像进行高通滤波,获得高频信号,然后一定程度地与原始信号相加得到校正后的结果。这样处理后的结果就是原图像中的高频信号被突出了。

    72030发布于 2019-05-30
  • 来自专栏技术汇

    怎么理解shellcheck提示的Declare and assign separately to avoid masking

    函数里语句 local var=$(mycmd) 被提示有问题,查看发现是插件 shellcheck 检查代码后给出的提示 "Declare and assign separately to avoid masking

    33600编辑于 2025-01-20
  • 来自专栏测试技术圈

    Data Masking:线上数据线下使用的数据处理方法

    数据脱敏(DataMasking)就是针对敏感信息进行处理的技术,通过对敏感数据的清晰、变形等方法保护了敏感信息的保密性,同时又能够利用这些信息进行质量保证工作的支持。

    72810编辑于 2024-07-12
  • 来自专栏我爱计算机视觉

    南理工&上海AI Lab提出Uniform Masking,为基于金字塔结构的视觉Transformer进行MAE预训练!

    关注公众号,发现CV技术之美 本篇文章分享论文『Uniform Masking: Enabling MAE Pre-training for Pyramid-based Vision Transformers with Locality』,南理工&上海AI Lab提出Uniform Masking,为基于金字塔结构的视觉Transformer进行MAE预训练! 在本文中,我们提出了统一掩蔽(Uniform Masking,UM)策略,成功地实现了基于金字塔的具有局部性的VIT的MAE预训练(简称“UM-MAE”)。 具体而言,UM包括一个统一采样(Uniform Sampling,US),它从每个2×2网格中严格采样1个随机patch,然后是一个二次掩蔽(Secondary Masking,SM),它将已采样区域的一部分 3.2 Secondary Masking 与MAE中采用的随机采样相比,均匀采样(US)对均匀分布在2D空间上的图像块进行采样,使其与具有代表性的基于金字塔的VIT兼容。

    82710编辑于 2022-09-01
  • 来自专栏MySQL修行 | 老叶茶馆

    MySQL企业版之数据脱敏功能

    执行下面的命令即可快速安装插件: INSTALL PLUGIN data_masking SONAME 'data_masking.so'; CREATE FUNCTION gen_blacklist RETURNS STRING SONAME 'data_masking.so'; CREATE FUNCTION gen_dictionary RETURNS STRING SONAME 'data_masking.so RETURNS STRING SONAME 'data_masking.so'; CREATE FUNCTION gen_range RETURNS INTEGER SONAME 'data_masking.so RETURNS STRING SONAME 'data_masking.so'; CREATE FUNCTION gen_rnd_ssn RETURNS STRING SONAME 'data_masking.so RETURNS STRING SONAME 'data_masking.so'; CREATE FUNCTION mask_ssn RETURNS STRING SONAME 'data_masking.so

    1.7K20发布于 2020-06-23
  • 来自专栏NLP/KG

    深度学习进阶篇-国内预训练模型[5]:ERINE、ERNIE 3.0、ERNIE-的设计思路、模型结构、应用场景等详解

    图2展示了这三个级别的Masking策略和BERT Masking的对比,显然,Basic-Level Masking 同BERT的Masking一样,随机地对某些单词(如 written)进行Masking ,在预训练过程中,让模型去预测这些被Mask后的单词;Phrase-Level Masking 是对语句中的短语进行masking,如 a series of;Entity-Level Masking是对语句中的实体词进行 Masking,如人名 J. 图2展示了这三个级别的Masking策略和BERT Masking的对比,显然,Basic-Level Masking 同BERT的Masking一样,随机地对某些单词(如 written)进行Masking 单个字转变成了Masking一系列连续的token,例如Masking实体词,Masking短语等,即从细粒度的Masking转向粗粒度的Masking

    4.6K00编辑于 2023-05-28
  • 来自专栏数据库相关

    Percona8.0.17的数据屏蔽插件的使用

    具体可以参考下面3篇文档:  https://dev.mysql.com/doc/mysql-security-excerpt/8.0/en/data-masking-installation.html https://www.percona.com/doc/percona-server/LATEST/security/data-masking.html、 https://www.percona.com /blog/2020/01/06/data-masking-in-percona-server-for-mysql-to-protect-sensitive-data/ 我们这里演示方便起见,用dbdeployer _18/ cat my.sandbox.cnf  修改下 client段的user为root(默认dbdeployer部署的是低权限账号) [client] user = root # 安装data_masking /use  登录进mysql控制台 mysql [localhost:8018] {root} (test) > INSTALL PLUGIN data_masking SONAME 'data_masking.so

    64920发布于 2020-02-14
  • 来自专栏机器学习与推荐算法

    CIKM2021 | 将对比学习用于解决推荐系统长尾问题

    3.1 数据增强 在对比学习数据增强部分,论文提出对于 item 特征的数据增强分为两个步骤:Masking 和 Dropout,其中 masking 是采用默认 embedding 随机掩盖一些输入特征 3.2 Random Feature Masking(RFM) 文中定义了一个 baseline Random Feature Masking(RFM),采用互补 masking 模式,即将特征集拆分为两个互斥特征集 3.3 Correlated Feature Masking(CFM) 论文基于信息论中的互信息,提出了 Correlated Feature Masking(CFM)方法,这个方法每个 batch 进行训练时 3.4 为什么采用 CFM 此处楼主小 Q 主要想讨论一下的是:为什么要采用互补 masking 模式构建对比学习的变体呢,为什么采用互信息高的特征集会比随机 masking 效果好呢。 至于为什么要采用互补 masking 模式,大致也是为了保证变体的差异性。

    2.4K30编辑于 2022-02-28
  • 来自专栏DBA 平台和工具

    MySQL 脱敏函数使用

    Percona data_masking 插件Percona的data_masking插件是一个强大的工具,适用于身份证号、手机号和银行卡号等敏感数据的脱敏。 安装插件首先,需要在MySQL中安装data_masking插件:mysql> INSTALL PLUGIN data_masking SONAME 'data_masking.so';安装后,可以通过以下命令验证插件状态 data%'\G;*************************** 1. row *************************** PLUGIN_NAME: data_masking PLUGIN_STATUS: ACTIVE PLUGIN_TYPE: DAEMON PLUGIN_TYPE_VERSION: 80031.0 PLUGIN_LIBRARY: data_masking.soPLUGIN_LIBRARY_VERSION : 1.11 PLUGIN_AUTHOR: Francisco Miguel Biete Banon PLUGIN_DESCRIPTION: Data Masking plugin

    85930编辑于 2024-09-26
  • 来自专栏MySQL解决方案工程师

    MySQL安全相关-- TDE和数据脱敏功能介绍

    安装步骤如下: INSTALL PLUGIN data_masking SONAME 'data_masking.so'; CREATE FUNCTION gen_blacklist RETURNS STRING SONAME 'data_masking.so'; CREATE FUNCTION gen_dictionary RETURNS STRING SONAME 'data_masking.so' RETURNS STRING SONAME 'data_masking.so'; CREATE FUNCTION gen_range RETURNS INTEGER SONAME 'data_masking.so RETURNS STRING SONAME 'data_masking.so'; CREATE FUNCTION mask_outer RETURNS STRING SONAME 'data_masking.so RETURNS STRING SONAME 'data_masking.so'; CREATE FUNCTION mask_ssn RETURNS STRING SONAME 'data_masking.so

    2.1K10编辑于 2022-03-14
  • 来自专栏「3306 Pai」社区

    新功能简介|MySQL8.0数据查询脱敏

    在8.0.13企业版中推出插件“data_masking.so”,可以实现数据的脱敏操作。 可以实现例如:银行卡号中的后四位为X字符、生产随机数据、例如电子邮件地址和支付卡号等... 具体操作可以参考 https://dev.mysql.com/doc/refman/8.0/en/data-masking-usage.html 如果没有预算购买企业版MySQL,但迫切需要这个功能, 目前作为实验功能,具体操作文档如下: https://www.percona.com/community-blog/2019/12/13/percona-server-for-mysql-8-0-new-data-masking-feature / https://www.percona.com/doc/percona-server/LATEST/security/data-masking.html 不过Percona在实现的过程中,引入新的概念字典 https://www.percona.com/community-blog/2019/12/13/percona-server-for-mysql-8-0-new-data-masking-feature

    2K10发布于 2020-02-17
  • 来自专栏程序媛驿站

    NLP预训练中的mask方式总结

    sequence mask:transformer decoder部分 2.3 BERT: maskd LM 2.4 RoBERTa: dynamic maskd LM 2.5 ERNIE: Knowledge masking knowledge masking strategies, which includes entity-level masking and phrase-level masking. 基本级别掩码(Basic-Level Masking): 这里采用了和BERT完全相同的掩码机制,在进行中文语料时,这里使用的是字符级别的掩码。在这个阶段并没有加入更高级别的语义知识。 实体级别掩码(Entity-Level Masking): 在这个阶段,将句子中的某些实体掩码掉,这样模型就有了学习更高级别的语义信息的能力。 The whole word masking mainly mitigates the drawbacks in original BERT that, if the masked WordPiece

    1.7K20编辑于 2022-04-11
  • 来自专栏朴素人工智能

    [预训练语言模型专题] 百度出品ERNIE合集,问国产预训练语言模型哪家强

    在文章摘要中,作者提出了ERNIE是通过加强BERT的masking策略来获取知识,包括引入实体级别的masking和词级别的masking,实验证明,ERNIE在五项中文自然语言处理任务上继BERT之后又刷新了榜单 ERNIE和BERT的联系确实是极为密切的,基于BERT,ERNIE提出两种加强的masking方式,分别是entity-level masking 和 phrase-level masking。 由entity或phrase作为单位来做masking,一般会包含多个字或词。 第二个阶段是短语的masking,相邻的概念层面上一组词或字符。在中文中,一般会用分词工具在将相邻的字分成词语,这样可以对稍大的语义模块来进行建模。 第三个阶段是实体的masking,包括人名,地点,组织,产品等。这些实体会倾向于包含句子中的重要信息。通过这三个阶段的训练,向量表示就会包含更丰富的语义信息。 ?

    1.1K20发布于 2020-04-21
  • 来自专栏数据和云

    SQL Server 2016新特性:动态数据屏蔽(DDM)

    Microsoft has introduced an impressive new feature in SQL Server 2016 called Dynamic Data Masking (DDM Dynamic Data Masking allows a developer or administrator to decide how much of the sensitive data to Dynamic Data Masking does not modify or change the actual data stored in a table; it applies the masking Dynamic Data Masking supports four data masking functions, as listed below, using which you can mask An example of the Default Dynamic Data Masking function is shown below. 以下是使用默认屏蔽函数的一个案例。

    1.7K120发布于 2018-03-07
  • 来自专栏朴素人工智能

    E-BERT,电商领域语言模型优化实践

    方法 论文的创新方法主要有两个:Adaptive Hybrid Masking(AHM,自适应混合掩码)和Neighbor Product Reconstruction(NPR,相似商品重构)。 ? 随后就诞生了更加符合人类认知的Whole Word Masking,这个方法就是说要遮就遮整个词。 然后用一个函数f,根据两个loss计算变量 ,跟预设的超参数 进行比较,如果 就用word masking,反之就用phrase maskingmasking的Bert-NP。 实验组是各种配置的E-Bert,包括只使用phrase masking的E-Bert-DP,使用AHM的E-Bert-AHM和AHM+NPR的E-Bert。

    1.7K20发布于 2020-09-23
  • 来自专栏炼丹笔记

    炼丹技巧--一技从Kaggle银牌飞入金牌。

    今天我们一起来学习研究一下Top选手的秘密: Masking扩充策略; Shuffling扩充策略; Mixup扩充策略; 三大数据扩充策略 01Masking扩充 Masking的策略,在很多问题中就会被使用 ,有点类似于剪切,在Google Brain中作者在R和C上随机进行Masking。 one_sample = get_sample(idx) # Type masking if random.random() < .2: if random.random() < .5: # maskring R one_sample['R'][:] = 0 else: # masking C one_sample['R'][:]

    69520发布于 2021-11-18
  • 来自专栏Elixir

    Python Flask 编程 | 连载 08 - Jinja2 过滤器

    自定义过滤器有两种方式,以自定义一个隐藏个人真实姓名的过滤器 name_masking 为例。 @app.template_filter('name_masking') def name_masking_filter(name): return name[0] + '**' 在 filter.html 页面中使用该过滤器,在 body 标签中增加如下内容:

    自定义过滤器使用

    {{ '特朗普' | name_masking }}

    保存代码,浏览器访问 /filter。 def name_masking_filter(name) return return name[0] + '**' # 注册自定义过滤器 app.jinja_env.filters[ 'name_masking'] = name_masking_filter 保存代码,浏览器访问 /filter。

    80620编辑于 2022-09-26
  • 来自专栏朴素人工智能

    [预训练语言模型专题] RoBERTa: 捍卫BERT的尊严

    动态掩码(Dynamic Masking) BERT的masking是在预处理时进行的,导致这种Masking是静态的,每个epoch的masking结果一致。 原本的BERT为了避免这种情况,把数据复制了十份,然后进行了十种不同的静态masking。这样在40个epochs的训练中,同样masking的数据会在整个训练中出现四次。 而RoBERTa中使用Dynamic Masking,只是在序列送入模型中的时候才去进行动态的masking,这样在更大的数据集上或者更多步数的训练上会表现更好。 最后总结下,提高BERT模型下游任务上性能的方法有,用更多数据集以更大的batch size来训练更多的时间,去掉NSP任务目标,在更长的句子上预训练,动态地改变masking等。

    6.3K10发布于 2020-06-21
  • 来自专栏后端开发你必须学会的干货

    一个 WebSocket 服务器是如何开发出来的?

    信息,为 0 时则没有 masking-key 信息。 当该字段值是 0~125 时,表示跟在 masking-key 字段后面的就是包体内容长度;当该值是 126 时,接下来的 2 个字节内容表示跟在 masking-key 字段后面的包体内容的长度(即图中的 Masking-key ,如果前面的 mask 标志设置成 1,则该字段存在,占 4 个字节;反之,则 Frame 中不存在存储 masking-key 字段的字节。 因此,客户端发给服务器端的数据帧中存在 4 字节的 masking-key,而服务器端发给客户端的数据帧中不存在 masking-key 信息。 如果存在 masking-key 信息,则数据帧中的数据(图中 Payload Data)都是经过与 masking-key 进行运算后的内容。

    1.4K20发布于 2019-09-16
  • 来自专栏python3

    用Python实现一个简易的WebSoc

    second8Bit = self.con.recv(1) second8Bit = struct.unpack('B',second8Bit)[0] masking dataLength == 127: payDataLength = struct.unpack('Q',self.con.recv(8))[0] self.masking = masking self.payDataLength = payDataLength def readClientData(self): if self.masking maskingKey = self.con.recv(4) data = self.con.recv(self.payDataLength) if self.masking

    52810发布于 2020-01-08
领券