- 综合排序
- 最热优先
- 最新优先
- 来自专栏Phoenix的Android之旅
AI入门之数据处理(Numpy指南)
python中的数据操作基本都用numpy来做，在做深度学习的过程一定也绕不过numpy。这篇分几个部分介绍numpy · numpy array 的基本属性，包括 shape, size, dim, data type · 通过 index 获取 numpy array 的数据 · 分割 numpy array，获取 sub array · 变换 numpy array 的维度 · 合并 numpy array，合并多个数组
1.3K20发布于 2019-12-04 《AI赋能SQL Server，数据处理“狂飙”之路》
据统计，过去几年全球数据量的年增长率高达30%以上 ，海量数据如同双刃剑，既蕴含着无限商机，也给数据处理带来巨大挑战。SQL Server作为一款强大的关系型数据库管理系统，在数据管理领域应用广泛。 但随着数据复杂性提升，传统优化方法渐渐力不从心，此时人工智能（AI）的加入，为优化SQL Server查询性能、实现高效数据处理开辟了全新路径。 根据AI建议，该金融机构删除了冗余索引，并创建了新的复合索引，查询性能得到显著提升，复杂查询的执行时间缩短了近60%，极大地提高了数据处理效率。 这种动态优化能力使SQL Server能够始终保持高效运行，适应企业不断变化的数据处理需求。将AI融入SQL Server查询性能优化，是顺应时代发展的必然趋势。 它不仅能帮助企业提升数据处理效率、降低运营成本，还能为企业在激烈的市场竞争中赢得先机。无论是精准的查询优化、提前的性能预测，还是智能的索引管理和动态的优化策略调整，AI都展现出了巨大的优势。
39400编辑于 2025-03-25AI数据处理和质量测评系统：给AI喂“干净粮食”的智能厨师
AI数据处理和质量测评系统，正是这样一位专业的“智能厨师”。它不仅要确保AI吃到足够的“粮食”，更要保证这些粮食干净、营养、搭配合理。一、为什么AI时代需要专业的数据“厨师”？ 但在AI应用中，数据质量问题会被放大无数倍：偏见放大：训练数据中的微小偏见，会导致AI决策时的严重歧视误差累积：单个数据错误可能看似不起眼，但成千上万个错误会让AI模型完全跑偏维度灾难：AI处理的数据维度远超人类理解 ，人工检查根本不可能完成实时性要求：流式数据需要实时清洗和质检，不能依靠离线处理没有专业的数据处理系统，AI项目很可能在第一步就注定了失败。 二、智能数据处理的“厨房装备”这个专业的“智能厨师”配备了哪些核心工具呢？1. AI数据处理和质量测评系统，不是AI项目的“辅助工具”，而是核心基础设施。它让数据从“原材料”变成“优质食材”，确保AI能够健康、可靠地成长。
19510编辑于 2025-10-23- 来自专栏自然语言处理
DocWrangler:一个用于 AI 数据处理的开源 IDE
DocWrangler——建立在DocETL之上，通过交互式开发和智能辅助简化LLM数据处理，使复杂的数据任务更加容易实现。
24510编辑于 2025-01-15 - 来自专栏深度应用
「AI竞赛」天池宫颈癌诊断比赛数据处理开源
/blog.csdn.net/xiaosongshine/article/details/102760036 这是笔者最近参加的 [ 天池大赛>“数字人体”视觉挑战赛——宫颈癌风险智能诊断]，项目数据处理开源教程
1.8K30发布于 2019-10-28 - 来自专栏生信喵实验柴
数据处理
在使用 R 语言的过程中，需要给函数正确的数据结构。因此，R 语言的数据结构非常重要。通常读入的数据并不能满足函数的需求，往往需要对数据进行各种转化，以达到分析函数的数据类型要求，也就是对数据进行“塑形”，因此，数据转换是 R 语言学习中最难的内容，也是最重要的内容。
2K10编辑于 2022-10-25 - 来自专栏机器学习
AI Excel 分析教程：智能化表格数据处理与分析
借助 AIGC（人工智能生成内容） 技术，我们可以让 AI 自动分析 Excel 数据，生成数据摘要、趋势预测，并给出优化建议。 趋势预测：结合机器学习模型（如 ARIMA、LSTM）或 AI 语言模型（如 GPT-4）分析数据的变化趋势。 智能报告生成：基于 AI 语言模型，将数据分析结果转换为易懂的文字报告。 交互式分析：使用 Streamlit 构建 Web 界面，用户可上传 Excel 文件并实时查看 AI 生成的分析结果。 调用 AI 进行分析，并返回文本报告。 3. 总结本教程详细介绍了 AI Excel 分析 的原理，并提供了 完整代码，实现了数据解析、AI 分析、报告生成及 Web 交互界面。该工具适用于 财务、销售、市场分析 等领域，可极大提升数据处理效率。
4.2K10编辑于 2025-03-28 - 来自专栏pandas
Pandas高级数据处理：实时数据处理
引言在当今的数据驱动时代，实时数据处理变得越来越重要。无论是金融交易、社交媒体分析还是物联网设备监控，都需要对海量数据进行快速而准确的处理。 Pandas作为Python中最为流行的数据处理库之一，提供了强大的工具来处理结构化数据。本文将从基础到高级，逐步介绍如何使用Pandas进行实时数据处理，并解决常见的问题和报错。 对于实时数据处理来说，Pandas的优势在于其高效的内存管理和灵活的数据操作能力。1.1 DataFrame与SeriesDataFrame 是一个表格型的数据结构，包含有行和列。 30, 35], 'City': ['New York', 'Los Angeles', 'Chicago']}df = pd.DataFrame(data)print(df)二、实时数据处理的基础实时数据处理通常涉及到从多个来源获取数据 希望本文能够为读者提供有价值的参考，在实际工作中更好地运用Pandas进行数据处理。
1.7K10编辑于 2025-02-06 - 来自专栏思影科技
思影数据处理业务四：EEGERP数据处理
EEG/ERP数据处理业务 数据预处理：导入数据、定位电极、剔除无用电极、重参考、滤波、分段（EEG不做分段）、插值坏导和剔除坏段、通过ICA去除伪迹 ERP数据后处理：对ERP数据进行叠加平均、绘制波形图并提取感兴趣成分进行进一步统计分析
1.5K20发布于 2020-05-08 - 来自专栏全栈程序员必看
python的数据处理_基于python的数据处理
1.我要做交叉验证，需要每个训练集和测试集都保持相同的样本分布比例，直接用sklearn提供的KFold并不能满足这个需求。
1K10编辑于 2022-10-05 - 来自专栏pandas
Pandas高级数据处理：实时数据处理
引言在当今的数据驱动时代，实时数据处理变得越来越重要。Pandas作为Python中强大的数据分析库，提供了丰富的功能来处理和分析结构化数据。 本文将从基础到高级逐步介绍Pandas在实时数据处理中的应用，涵盖常见问题、常见报错及解决方案，并通过代码案例进行详细解释。 二、实时数据处理的基础概念实时数据处理是指对不断流入的数据进行即时处理和分析。与批处理不同，实时数据处理要求系统能够在短时间内响应并处理新到达的数据。 增量更新数据在实时数据处理中，数据通常是不断更新的。为了保持数据的最新状态，我们需要支持增量更新。 本文介绍了Pandas在实时数据处理中的基础概念、常见问题及解决方案，并通过代码案例进行了详细解释。希望本文能帮助读者更好地理解和掌握Pandas在实时数据处理中的应用。
1.3K10编辑于 2025-02-17 - 来自专栏思影科技
思影数据处理业务三：ASL数据处理
ASL数据处理业务： 1.数据预处理： 具体包括：数据转换、图像复位、头动校正、配准、平滑、去除颅外体素、计算CBF等。 ? ? 2) 可根据客户需求，个性化定制数据处理过程。
2K20发布于 2020-05-08 - 来自专栏深度应用
「AI深度思考·竞赛」天池宫颈癌诊断比赛数据处理开源
这是笔者最近参加的 [ 天池大赛>“数字人体”视觉挑战赛——宫颈癌风险智能诊断]，项目数据处理开源教程，也希望能找到一些志同道合朋友一起组队。 有什么问题的话欢迎访问点击笔者知识星球与我联系：[ AI深度学习应用之路] 告诉大家一个小秘密：我将在星球开源整套项目baseline
1.1K20编辑于 2022-03-07 - 来自专栏xiaosen
游戏数据处理
游戏行为数据的用户付费指标是评估玩家在游戏中消费行为的关键数据点。这些指标可以帮助游戏开发者和运营商了解玩家的付费习惯，从而优化游戏设计、提高收入和改善玩家体验。以下是一些常见的用户付费指标：
1.2K21编辑于 2024-03-15 - 来自专栏生信小驿站
R 数据处理 ①
数据采样： setwd("E:\\Rwork") set.seed(1234) index <- sample(1:nrow(iris),10, replace = T) index sample_set <- iris[index,] index <- sample(nrow(iris),0.75*nrow(iris)) sample_set <- iris[index,] 数值离散化 data(iris) buckets <- 10 maxseplen <- max(iris$Sepal.Length
79510发布于 2018-08-27 - 来自专栏Python爬虫与数据分析
python数据处理
很久没有更新文章了， 在这里分享一下关于数据处理的 步骤，方法供大家参考。 数据处理的基本内容主要包括数据清洗，数据抽取，数据交换，和数据计算等。
1.8K20发布于 2019-12-25 - 来自专栏学习成长指南
数据处理python
对于一个表单里面的数据，如果我们想要对于这个表单里面的数据进行处理，我们可以一列一列进行处理，也可以多列一起进行处理；
50300编辑于 2025-02-24 - 来自专栏生信喵实验柴
dplyr数据处理
filter()函数用于筛选出一个观测子集，第一个参数是数据库框的名称，第二个参数以及随后的参数是用来筛选数据框的表达式。
2.5K10编辑于 2022-10-25 - 来自专栏java初学
海量数据处理
针对海量数据的处理，可以使用的方法非常多，常见的方法有hash法、Bit-map法、Bloom filter法、数据库优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。 1、hash法 hash法也成为散列法，它是一种映射关系，即给定一个元素，关键字是key，按照一个确定的散列函数计算出hash（key），把hash（key）作为关键字key对应的元素的存储地址，再进行数据元素的插入和检索操作。 散列表是具有固定大小的数组，表长应该是质数，散列函数是用于关键字和存储
2.8K140发布于 2018-05-14 《深度剖析：Java ZGC 如何重塑 TB 级实时 AI 数据处理格局》
在ZGC横空出世之前，传统垃圾回收器在面对TB级实时AI数据处理时，暴露出诸多难以克服的弊端。实时AI数据处理的一大特点是数据的海量性与持续性，这使得内存中的对象数量与数据规模急剧膨胀。 对于实时AI数据处理而言，哪怕是短暂的停顿，都可能导致数据处理的延迟，进而影响整个AI系统的实时性与准确性。此外，传统垃圾回收器在处理大内存时，效率会大幅下降。 在实时AI数据处理中，对内存的高效利用和快速回收至关重要，传统垃圾回收器显然难以满足这一需求。ZGC的出现，为TB级实时AI数据处理带来了曙光。 这种方式使得内存的分配与回收更加灵活高效，能够更好地适应实时AI数据处理的动态需求。实时AI数据处理中，对象的生命周期往往难以预测。有些对象可能只在短暂的时间内被使用，而有些对象则可能长期存活。 与云计算技术的融合，ZGC可以在云端环境中更好地管理大规模的AI数据处理任务，提高云计算平台的性能和可靠性。Java的ZGC垃圾回收器为TB级实时AI数据处理带来了革命性的变化。
20710编辑于 2025-06-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号