- 综合排序
- 最热优先
- 最新优先
- 来自专栏焱融科技
「深度解析」AI训练之数据缓存
深度学习或者AI的出现，改变了我们以往的解决问题的编程方式，不再是代码上直观的表达。 举一个简单的例子，我们如何识别一个数字（图片）是数字9呢？非常直观的方法就是上面有一小圆圈，下面有一个竖线。 AI中有三大核心：算法，算力，数据（存储）。算法自有成熟的框架，由数学科学家去解决；计算能力由CPU甚至GPU去解决。 01 深度学习训练的基本知识 深度学习训练任务(Deep Learning Training DLT)会将训练数据作为输入，从千丝万缕的线索中通过学习并得到一个输出模型来代表训练数据。 假设训练数据有100万个文件，那么会维护一个包含每一个文件索引的列表，并对它进行随机的排列，随后根据mini-batch的数据量向后端存储获得数据，当全部的数据都完整遍历训练一次，一个epoch完成。 03 缓存的设计 总结起来深度学习的特点： 需要的数据量大 多台机器多个训练并行 每个训练要运行多次 在每次训练中，所有的数据需要遍历一遍 针对不同的训练参数，以及在不同的机器上运行的训练任务，数据集相对保持固定
1.6K40发布于 2020-07-03 - 来自专栏小洁叫你mysql
数据采集助力AI大模型训练
引言 AI技术在今天已经是我们工作生活中不可或缺的工具，很多小伙伴也在致力于训练AI模型。 通过专业的代理IP服务配合高效的数据采集工具，能够为AI大模型训练提供稳定、可靠且合规的数据支持。 无论是数据采集新手还是资深开发者，都能快速上手，高效获取所需数据。接下来，我们将通过两个实际案例，分别体验亮数据的抓取浏览器和AI训练数据集，看看它们如何简化数据采集流程，助力AI模型训练。 AI训练数据 在AI模型训练过程中，数据采集往往是最耗时耗力的环节。 所有数据都经过专业的清洗和结构化处理，确保可直接用于模型训练，大幅提升AI项目的开发效率。 接下来我们一起选购AI数据集。
65610编辑于 2025-04-02 爬虫+动态代理助力 AI 训练数据采集
引言近年来，AI 技术飞速发展，很多朋友都投身于 AI 模型的训练。然而，相较于模型的获取，高质量的数据往往更加难以收集。 借助其代理服务，我们可以显著提高爬虫程序的访问成功率，从而更高效地获取数据，助力 AI 模型的训练。 维基百科是 AI 领域的重要数据来源，广泛用于训练 RoBERTa、XLNet 和 LLaMA 等大模型。 本次，我们将以采集维基百科数据为例，分别面向零经验的初学者和熟练开发者介绍如何结合爬虫技术与动态代理，高效获取训练数据。 /li/a/text()'): temp})with open('wiki_sport.txt', 'w') as f: f.write(str(result))总结在 AI 训练的道路上，高质量的数据是不可或缺的
52210编辑于 2025-03-19- 来自专栏贾志刚-OpenCV学堂
深度学习训练-详解图像数据标准化与归一化
使用深度学习在进行图像分类或者对象检测时候，首先需要对图像做数据预处理，最常见的对图像预处理方法有两种，正常白化处理又叫图像标准化处理，另外一种方法叫做归一化处理，下面就详细的说一下这两种处理方法。 一：图像标准化处理 标准化处理的公式如下： ? 使用opencv+tensorflow对图像进行标准化处理的代码演示如下： import tensorflow as tf import cv2 as cv image = cv.imread("D: 解释 图像标准化是将数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果, 数据标准化是数据预处理的常见方法之一 二：图像归一化处理 ，全部采用了归一化之后的结果作为输入图像数据来演示神经网络与卷积神经网络。
12.2K30发布于 2018-08-06 GitHub将用户数据用于AI训练
GitHub调整策略：决定将用户数据用于AI训练自4月24日起，除非你选择退出，否则你的数据将被用于训练“章鱼猫”某机构旗下的GitHub计划从下个月开始使用客户交互数据——特别是“输入、输出、代码片段及相关上下文 ”——来训练其AI模型。 要选择退出，GitHub用户应访问 /settings/copilot/features 并在“隐私”标题下禁用“允许GitHub使用我的数据进行AI模型训练”。 根据产品官的说法，这一变更的理由是交互数据能使公司AI模型表现更好。他声称，添加来自某机构员工的交互数据带来了有意义的改进，例如AI模型建议的接受率提高了。 这种表述表明，数据饕餮的AI之马（可以这么说）早已跑出了马厩。此时关门并不能改变这样一个事实：AI行业是建立在未经强烈同意表示就收集的数据之上的。FINISHED
15210编辑于 2026-04-04- 来自专栏程序设计
AI Agent的检验标准
Agent 是能够自主规划并使用工具达成目标（而非遵循预设步骤）的系统5：某技术白皮书定义："AI Agent是利用现代生成式AI模型进行规划、数据存取、工具调用、决策制定并与现实世界互动以完成特定功能的自主软件系统 Agent是能解析指令并在完整AI工作流中承担更多职责（如函数执行、数据查询等）的组件而不仅仅是生成LLM响应"12：Agent = 利用LLM推理能力进行决策的自主系统13：任何能完成自身OODA循环 根据大多数现有定义，它确实符合条件然而包括OpenAI自身在内，大多数人都不这样描述它我们对AI Agent似乎存在一种"看到即知道"的直觉判断为了给认知思路提供指导，我需要更精确的定义因此制定了自己的客观标准 代理试金石测试标准：人工智能系统是否以独立身份执行操作？ AI Agent是指能够以独立身份采取自主行动的系统而非作为人类用户的延伸审计日志中记录的责任主体是系统自身还是人类用户决定了该系统的本质是真正的Agent，还是仅作为辅助工具而存在根据这一标准，许多优秀的
47110编辑于 2025-04-06 - 来自专栏机器学习与生成对抗网络
基于AI的数据增广：生成数据作为训练样本
Benchmarking and Analyzing Generative Data for Visual Recognition 大型预训练生成模型的进展，扩展了它们作为有效数据生成器在视觉识别中的潜力 2）CLER分数：为了解决现有度量指标（如FID，CLIP分数）与下游识别性能之间的不足相关性，提出了CLER，一种无需训练的度量，用于指示生成数据在训练前对于识别任务的效率。 数据增强技术通过人工增加训练样本的数量来解决这个问题，但这些技术通常产生有限结果。 为解决这个问题，越来越多的研究提出使用深度生成模型生成更真实和多样化的数据，以符合数据的真实分布。 关注公众号【机器学习与AI生成创作】，更多精彩等你来读 卧剿，6万字！30个方向130篇！CVPR 2023 最全 AIGC 论文！ 一口气读完 深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读 深入浅出ControlNet，一种可控生成的AIGC绘画生成算法！
73010编辑于 2023-08-22 - 来自专栏AI
AI训练师入行指南（四）：模型训练
——从璞玉到珍宝：数据雕刻师的终极修炼 一、开篇在《指南（三）》中，我们根据场景选择了合适的AI模型——就像选定了雕刻和田玉的工具与技法。 现在，我们正式进入训练阶段：用特定数据集将模型从粗坯打磨成传世珍宝。 “用翡翠原石雕佛像，用和田玉刻印章——特定数据集就是AI模型的专属玉料。” 数据集的核心价值领域适配性：用医疗影像数据训练的模型，能识别癌症结节；用电商评论训练的模型，能感知用户情绪波动。 质量决定上限：标注精准的1000条数据，胜过混乱的10万条噪声数据。 成熟AI模型案例解析(1) DeepSeek-Chat（深度求索）数据燃料：千万级高质量中文对话数据（含代码、百科、小说） 训练成果：能生成符合中文语境的代码注释，甚至写出“鲁迅风格”的段子。 真正的AI匠人懂得：用正则化约束过拟合野马，以混合精度在有限资源中雕琢精品——这不是塑料玩具的组装，而是用数据刻刀打磨智能传世珠宝。
73910编辑于 2025-03-31 - 来自专栏FreeBuf
AI领域的预训练与自训练
最近一年，AI领域出现了很多迁移学习(transfer learning)和自学习(self-learning)方面的文章，比较有名的有MoCo，MoCo v2，SimCLR等。 半监督方法的代表是自训练，其使用少量的标记数据和大量的未标记数据对模型进行联合训练。 自训练可以分为5个步骤： 使用少量带有标签的数据训练模型 使用步骤1中得到的模型对未标记数据进行预测，预测结果作为伪标签 将标记数据和未标记数据结合标签和伪标签一起训练模型 在测试集上评估模型 重复1- 在此使用Imagenet当作未标记的数据(不使用标签)，而COCO数据集当作标记数据对预训练模型进行联合训练，以此更好的改善最终目标检测的效果。作为与监督预训练的对比结果如下： ? 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ?
1.9K10发布于 2020-11-16 - 来自专栏深度学习与python
数据「熵增」时代，AI 如何以标准重构治理秩序？
如何在 AI 时代重塑数据治理体系，让混乱数据重归有序，成为企业智能转型的关键命题。 ，系统阐述了以数据标准为核心，实现可持续数据治理的方法论，以及以 AI 赋能自动化数据治理、重构复杂业务流程的实践路径。 其核心逻辑为：聚焦 Data x AI，用中台方法论构建统一的数据标准，打造企业级好数据，帮助企业形成数据生产、数据消费、行业数据流通的数据要素服务链，驱动数据价值的释放。 “整个治理链路就是以数据标准为中心，将传统的复杂的治理手段，简化成数据标准的梳理与治理效果的评估过程，数据符合标准的程度越高，整体数据质量也就越好”。 这一方法论具备三大优势：一是体系化，明确治理目标与路径；二是易落地，借助一体化工具和 AI 能力，贯穿数据全生命周期；三是可持续，以标准驱动模式便于应对业务变化，有效降低治理成本与复杂度。
29610编辑于 2025-06-28 面向工业 AI 的设备数据采集：标准与实践路径
今天，我们就来拆解一下，面向人工智能的设备数据采集，必须跨越的五道鸿沟。误区一：数据是为了“监控”还是“训练”？在传统的MES或SCADA系统中，数据采集的目的是为了让操作员看着方便。 核心变革：面向AI数据采集的5大硬核标准要想让AI在工厂真正落地，你的数据采集方案必须满足以下5个核心要求：1.拒绝“低帧率”：从秒级监控到毫秒级洞察传统PLC往往1秒钟才轮询一次数据。 2.打破“数据孤岛”：上下文（Context）是AI的灵魂单纯采集“温度=200℃”对AI来说是废数据。·痛点：传感器数据在PLC里，生产订单在ERP里，质量数据在QMS里。它们在物理上是割裂的。 ·对策：AI需要的是全要素关联。采集端必须在边缘侧进行数据融合，生成一条包含[时间戳+传感器值+工单号+物料批次+操作员]的宽表数据。没有上下文，AI就无法理解因果关系。 在AI算法眼里，很多所谓的“噪音”其实是设备的早期求救信号。过度平滑（Smoothing）会抹平故障特征。理想的架构是“双流模式”：一路平滑数据给中控室看，一路原始数据存入数据湖给AI训练。
21010编辑于 2026-03-10- 来自专栏AI
AI训练师速成攻略（二）：数据收集与清洗
一、从原生态矿山里淘金子如果说训练AI是养孩子，那么数据就是奶粉——但这里没有超市货架上整齐排列的进口奶粉，只有混杂着石子、过期品和宝藏的原生态矿山。 二、数据矿脉勘探指南1. 找矿脉(1) 矿脉定位法则目标导向：给电商AI找数据？先锁定用户评价、商品图片、购买记录三座富矿场景预判：训练医疗影像AI？ 采矿许可证办理目标：训练情感分析AI合规准备：注册爬虫代理IP，设置1秒/次请求间隔2. ，请记住：每个优秀AI的背后，都有一群与脏数据搏斗的训练师。 当看到自己训练的AI准确识别出罕见病例，或是在海量评论中抓住产品缺陷时，你会明白：数据清洗不是枯燥的体力活，而是赋予机器智慧的炼金术。现在，拿起你的数字筛子，去创造属于智能时代的黄金传说吧！
62810编辑于 2025-03-27 - 来自专栏网络安全技术点滴分享
SQLMesh与SQLGlot：数据工程新标准与AI时代的数据实践
数据工程实践与工具创新Ryan与Tobiko Data联合创始人Toby Mao、Iaroslav Zeigerman深入探讨了严格数据实践与工具化的关键作用。 重点介绍了Tobiko Data通过SQLMesh和SQLGlot在数据转换领域建立的创新标准，包括云与SQL集成方案，并分享了AI技术崛起背景下对数据工程未来发展的洞察。 订阅与延伸内容欢迎通过Apple Podcasts、Overcast、Spotify等平台订阅Stack Overflow播客，获取最新数据工程与开发工具深度讨论。 相关技术标签包括数据质量、数据可观测性、开发者工具等。
21200编辑于 2025-08-24 - 来自专栏chimchim要努力变强啊
数据治理之数据标准
目录 一、背景 1、数据难以共享 2、数据定义不一致导致异常 3、沟通成本高 4、数据来源不明 二、什么是数据标准？ 三、为什么要做数据标准？ 二、什么是数据标准？ 数据标准是一套由管理制度、管控流程、技术工具共同组成的体系，通过这套体系来推广和应用统一的数据定义、数据分类、纪律格式和转换、编码等来对数据的标准化，保障数据定义和使用的一致性、准确性和完整性的规范性约束 三、为什么要做数据标准？ 四、目标 1.制定数据标准规范 2.统一管理数据标准 3.形成数据资产，支持跨业务线共享 4.规范开发流程并指导业务系统建设 五、实施步骤 1.标准规划 2.标准编制 3.标准评审发布 4.标准落地执行
1.1K20编辑于 2022-11-13 - 来自专栏IT技术订阅
数据仓库技术栈及与AI训练关系
数据仓库与AI训练之间存在紧密的联系，主要体现在以下几个方面： 1. 数据准备与预处理：AI模型训练的第一步通常是数据准备，数据仓库作为集中存储和管理企业数据的平台，为AI训练提供了丰富的数据来源。 通过ETL（抽取、转换、加载）过程，数据仓库可以对原始数据进行清洗、整合、标准化，生成高质量的训练数据集，这对于提高AI模型的准确性至关重要。 2. 模型部署与监控：训练好的AI模型可以部署回数据仓库或与之集成，以便在实际业务中应用。数据仓库可以作为模型服务的一部分，提供实时或近实时的数据输入，支持模型的预测和决策输出。 决策支持与洞察发现：AI模型训练的结果可以增强数据仓库的分析能力，通过智能预测、分类、聚类等手段，为决策支持系统（DSS）和在线分析处理（OLAP）提供更加精准和深入的洞察。 综上所述，数据仓库为AI训练提供了坚实的数据基础和处理平台，而AI技术的应用又进一步提升了数据仓库的价值，两者相辅相成，共同推动企业智能化转型和决策效率的提升。
72210编辑于 2024-05-20 - 来自专栏加密解密
DES数据加密标准
中文全称为：数据加密标准（Data Encryption Standard，缩写DES）。 1.2、DES加密/解密的历史与安全性 DES最初出现在1970年代早期。 NBS（国家标准局，现在的NIST美国国家标准技术研究所）开始征集用于加密政府内非机密敏感信息的加密标准，然后DES在1976年11月被确定为联邦标准。 其中PKCS7标准是主流加密算法都遵循的数据填充算法。DES标准规定的区块长度为固定值64Bit，PKCS5为DES专用，但是从长远考虑推荐兼容性更好的PKCS7。 区块长度：DES标准规定区块长度只有一个值，固定为64Bit，对应的字节为8位； 密钥KEY：该字段不能公开传输，用于加密和解密数据； 初始化向量IV：该字段可以公开，用于将加密随机化。 本教程引自《试试吧 - 领先的在线工具平台》，主打原创，全部免费，打开浏览器搜：试试吧，全网排名第一的就是本站，快来试试吧：DES数据加密标准 - 在线工具。
2.6K00编辑于 2023-03-17 什么是数据标准管理？怎么进行数据标准管理？
而这些不清楚，最终都会变成加班清洗数据、IT和业务部门对数扯皮的烂摊子。本质上，这都是数据标准管理的问题。今天就跟大家好好聊聊，数据标准管理到底管什么、怎么定、怎么落地。 三、数据标准到底分哪几类结合企业数据构成，常见的数据标准一般分为七类。这七类不是随便分的，而是基本覆盖了从业务定义到数据应用的完整链条。1、业务术语标准它解决的是业务层面的统一理解问题。 没有术语标准，后面很多争论其实都没有基础。2、数据元标准数据元是最基础的数据描述单元。一个完整的数据元标准，至少要说清楚名称、定义、数据类型等内容。 7、汇总数据标准这类标准主要服务分析和决策。指标名称怎么定义，计算口径是什么，统计粒度是什么，数据来源是什么，清洗规则是什么，校验方式是什么，都属于汇总数据标准的范畴。 五、比制定更重要的，是落地数据标准的落地是将发布的标准应用于信息建设和改造，消除数据不一致的过程，分为数据标准宣贯、数据标准实施、数据标准评价、数据标准改进四个关键阶段：1、数据标准宣贯要让业务、IT、
6300编辑于 2026-04-07- 来自专栏AI
DeepSeek NSA：突破数据瓶颈，开启AI模型训练新范式
近日，中国AI公司深度求索（DeepSeek）发布了一项名为神经缩放增强（Neural Scaling Augmentation, NSA）的技术，通过创新的数据生成与模型优化方法，为突破现有训练瓶颈提供了全新的解决方案 DeepSeek NSA的核心创新在于将数据生成与模型训练深度融合： 动态数据合成引擎：通过预训练模型分析现有数据分布，生成符合任务需求的高质量合成数据，同时引入对抗性样本以增强鲁棒性； 缩放感知训练框架 在应用层面，医疗领域可基于少量病例数据构建诊断模型，制造业能利用合成数据模拟罕见故障场景；在生态层面，该技术降低了AI研发门槛，使资源有限的企业也能参与创新竞争。 更重要的是，NSA为探索“小数据大模型”路径提供了实证案例——未来AI发展或许不必一味追求参数量的增长，而是通过算法革新释放现有数据的潜力。 结语DeepSeek NSA的诞生标志着AI基础研究从“暴力缩放”向“智能缩放”的转型。随着合成数据生成、模型高效训练等技术的成熟，人工智能有望摆脱对数据规模的过度依赖，进入更可持续的发展阶段。
77400编辑于 2025-02-18 - 来自专栏机器之心
超越ImageNet预训练，Meta AI提出SplitMask，小数据集也能自监督预训练
编辑：陈萍 大规模数据集对自监督预训练是必要的吗？Meta AI 认为，小数据集也能自监督预训练，效果还不错。 当今应对数据匮乏问题的主流学习范式是，即先在大型数据集（如 Imagenet ）上对模型进行预训练，之后基于特定的任务以较少的数据集微调模型。 尽管这种方法取得了成功，但我们很难将这种大规模标签数据集提供的好处与预训练范式的局限性区分开来。除此以外，在一个数据集上预训练模型并在另一个数据集上对其进行微调会引入差异。 来自 Meta AI 等机构的研究者，考虑了一个仅利用目标任务数据的自监督预训练场景。所用数据集包括如 Stanford Cars、Sketch 或 COCO，它们的数量级小于 Imagenet。 InfoNCE 损失 [59] 应用于这些表示： 实验 首先，实验研究了计算机视觉模型在各种数据集上的预训练和微调，详见表 3，表中列出了数据集名称、训练和测试数据分布等信息。
79440编辑于 2022-02-18 - 来自专栏爱可生开源社区
SCALE | 重构 AI 时代数据库能力的全新评估标准
图片来源：https://www.thisisdefinition.com/ 思考 AI 评测还能客观反映 AI 能力吗？ AI 测评是 AI 落地的主要考量吗？ AI 在数据库行业落地的进展如何？ AI 落地的瓶颈：不可计算 关于近期 “AI 评测坐标系坍塌” 的说法，我认为这并非指评测体系的崩溃，而是标志着评测标准正经历一场深刻的范式转移，一个 “新坐标系” 的大基建时代正在到来！ 2.2 AI 评测标准的价值 在 AI 进入生产环节的深水区时，市场急需一个声音来判定“好坏”。回顾历史，ImageNet 的地位之所以高不可攀，是因为它锚定了视觉能力的基准。 因为现在的通用榜单已经面临严重的“数据污染”。 通用榜单的困境（以数据库行业为例） 标准榜单的题目会在互联网上广泛传播，不可避免地混入训练数据中。 首先，要对数据先进行挖掘。以优化方向来说，一本书中如果能挖出 10 多条优化方向。人读一本书以天/周为单位，AI 读一本书以分钟为单位。我们为此构建了一套极其复杂的 “高保真生产模拟器”。
23110编辑于 2026-03-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号