- 综合排序
- 最热优先
- 最新优先
- 来自专栏R语言数据分析
表达芯片数据分析5——多组数据联合分析
removeBatchEffect()# batch <- c(rep("A",12),rep("B",5))batch <- c(rep("A",12),rep("B",6))exp2 <- removeBatchEffect ComBat# batch <- c(rep("A",12),rep("B",5))batch <- c(rep("A",12),rep("B",6))mod = model.matrix(~Group
79720编辑于 2023-10-06 获取分析数据的5个Tips
相信很多人都有这样的体会，就是在想做数据分析时，发现很多数据都没有。比如要追溯5个月以前的数据，但发现只保留了最近两个月的数据。 因此，产品经理或运营经理就需要在产品诞生的时候，想清楚需要什么数据满足后面的分析需求，让开发人员预先做埋点把这些数据记录下来，方便后期数据分析使用。 3、不要没用的数据在有可选数据之后，是不是提取越多的数据出来分析越好呢？并不是的，数据并不是多多益善的。回想一下，在平时进行数据分析时，是不是有很多数据是你提出需要的，但最后却没有发挥作用？ 过多的数据会让你的分析工作变得繁杂，特别是在提取数据和处理数据时，有些数据用之无味、弃之可惜。过多的数据会让你的分析报告密密麻麻，重点不清晰。 所以，不管是技术人员、产品经理还是运营经理，都需要尽自己的责任去保证数据的可靠、准确和稳定获得。5、不要不可靠的数据使用不可靠的数据，有时候不如没有数据。不可靠数据跟可靠数据是相对的。
23410编辑于 2025-02-07- 来自专栏气象学家
ECMWF ERA5再分析数据共享
近期在更新ERA5-LAND数据(1981-2020)，14609*1.1/1024 ≈ 16TB 范围：'area': [65, 70, -5, 140] # North, West, South, 1.数据获取方式 由于ECMWF对于ERA5数据的下载速度限制，因此开展ERA5数据共享Project，将近一两年内下载、整理的数据共享出来，仅限科研和学习用途。 如需自备硬盘拷贝，采取邮寄方式获取；数据详情请看后文 2.已下载部分变量属性： 数据大小：11 TB （推荐单块12TB或者3块5TB盘拷贝） 数据格式：NetCDF (.nc) 存储方式：不同变量分开存放 pageId=82870405#ERA5:datadocumentation-Table7 另外，会连同TRMM降水数据(日/逐3小时)一并拷贝。 文件：ERA5更新数据压缩包(~ 60 GB) 提链接：https://pan.baidu.com/s/1ja6R3F3V4_N6FU4c_HHo2w 提取码：4i8c 最后，补充一下之前有反馈下载的极个别数据存在文件大小不一的情况
2.4K20发布于 2021-04-16 - 来自专栏数据科学（冷冻工厂）
ATAC-seq分析：数据处理（5）
BAM创建读取的结果可以写回 BAM 文件，用于我们分析的其他部分，或者通过 rtracklayer 包中的函数在 IGV 等程序中进行可视化。
75730编辑于 2023-01-27 - 来自专栏数据库与编程
通过流式数据集成实现数据价值（5）- 流分析
第5篇：通过流式数据集成实现数据价值（5）- 流处理 本篇为通过流式数据集成实现数据价值的第6篇——流分析 分析是许多流集成案例的最终目标。 流集成可对云，应用程序和历史数据进行实时分析 在流分析中，数据流中的传入数据本身就是触发分析的原因，因为它不断发生。 如第5篇所述，在流系统中，利用窗口可以更轻松地执行时间受限的查询。 要使用此特定示例获取答案，有必要创建一个窗口，其中包含来自订单商品流的五分钟数据，并按商品ID进行分组。 通过以5分钟为单位存储最近一小时的值，可以进行更多查询。例如，如果某项在任何五分钟的时间内销售额增加或减少了异常数量，您可能会收到警报。 想象一下，除了做5分钟移动平均，你也在做5分钟移动标准差。可以检查高于或低于平均值两倍标准偏差的值，然后将触发警报，因为这是一个异常值。 因此，基于简单的统计分析，可以进行有趣的异常检测。
1.3K20编辑于 2022-04-23 - 来自专栏Elastic Stack专栏
通过 OpenTelemetry 分析 AI Agent 数据
—— 以 hermes_agent 的 gen_ai.* 数据为例本文以 Elastic 中一个真实的 Agent 服务 hermes_agent（数据流 traces-generic.otel-default ）为例，讲清楚：LLM 的每一次调用会在 OpenTelemetry span 里留下哪些字段、每个字段装的是什么、input 与 output 字段之间是什么关系、以及如何用 ES|QL 去分析、理解并利用这些数据 压缩 tool_responses：文件内容、terminal 输出这类大段工具结果，回灌进 input 前截断或摘要 —— 这是本数据里最重的 token 来源之一。5. 实战 ES|QL 分析范式提示：pipeline 抽出的字段名里含点号，在 ES|QL 中需用反引号包裹，如 `attributes.gen_ai.output.messages_tool_names` 小结一次 LLM 调用 = 一个 span，gen_ai.input.messages / gen_ai.output.messages 承载原始对话，pipeline 把它们拆成可分析的结构化字段。
27411编辑于 2026-07-19 - 来自专栏锦小年的博客
Python数据分析(5)-numpy数组索引
('b 的 shape is:',b.shape) c = a[2:3,:] print('c的shape is',c.shape) 输出： a 数据为： [[0 1 2] [3 4 5] [6 7 8]] b 的 shape is: (3,) c的shape is (1, 3) a 数据为： [[0 1 2] [3 4 5] [6 7 8]] b 的 shape is: import numpy as np a = np.arange(9) a.shape=(3,3) print('a 数据为：',a) ind = a > 5 print('ind is :', ind ]) 输出： a 数据为： [[ 0 1 2 3] [ 4 5 6 7] [ 8 9 10 11] [12 13 14 15]] [[[ 4 5 6 7] [12 13 14 = np.array([[0,2],[2,1]]) print('index value is :', a[row,col]) 输出： a 数据为： [[ 0 1 2 3] [ 4 5 6
3K11发布于 2019-05-26 - 来自专栏气象学家
ECMWF ERA5气象再分析数据
目前，气象学家公众号分发的ERA5数据分为三部分： ERA5常规变量中国区域再分析数据，18TB左右 (更新完成) ERA5-land陆面高分辨率中国区域再分析数据，34TB左右 (更新完成) ERA5 -land陆面高分辨率全球区域（4个变量）再分析数据，18TB 1.ERA5常规变量属性： 数据大小：16.5 TB （4块5TB盘拷贝） 数据格式：NetCDF (.nc) 存储方式：不同变量分开存放 tab=overview 5.数据获取方式 由于ECMWF对于ERA5数据的下载速度限制以及数据量巨大短时间难以下载获取等原因，因此开展ERA5数据共享Project，将近两三年内个人与课题组下载、整理的 ERA5(~16TB)、ERA5-Land（~18TB）数据共享出来，在ECMWF的使用条款中合法的复制与分发都是符合规定的，不存在数据使用上的法律纠纷问题。 如需自备硬盘拷贝，采取顺丰到付方式获取；数据详细信息请看后文，可获取ERA5数据，加好友请备注：“ERA5”。 另外，GPM L3降水数据半小时/逐日的已上传至百度云盘（~4TB）可免费获取。
3.7K30编辑于 2022-06-13 - 来自专栏数据科学（冷冻工厂）
ATAC-seq分析：数据处理（5）
BAM创建 读取的结果可以写回 BAM 文件，用于我们分析的其他部分，或者通过 rtracklayer 包中的函数在 IGV 等程序中进行可视化。
55320编辑于 2023-02-27 - 来自专栏接地气学堂
5张图，看懂数据分析体系
讲数据分析体系的文章很多，经常是开篇一句：互联网分析体系……，下边几百个指标blabla汹涌而出。搞得很多同学很晕菜：这么多指标，实际中到底怎么看？今天系统讲解一下。话不多说，直接上场景。 有了评价，就能做出进一步分析。 5 从多指标到原因解读 评价了好/坏，就能进一步分析：为什么好、为什么坏。到这一步，就会发现，现有数据指标的问题：虽然看似一堆指标，可都是结果性指标。 5、发稿时间：选播放好的时间发 做内容运营，首先得对自己做的内容有清晰的了解，打好标签，再做其他工作。 有了标签，单纯地结合标签分析结果指标，也可能得出一些有用的结论，比如： ● 5分钟比10分钟效果好 ● 美女亮腿比男主持人效果好 ● 讲比赛比讲八卦效果好 这些已经足够优化运营了。 6 小结 搭建数据分析体系可以很简单（如下图） ?
67940发布于 2021-03-25 - 来自专栏SDNLAB
未来，AI可用于5G网络分析
随着CSP为5G做好的准备，那些未来在5G领域可能会成功的人专注于将先进的网络运营和客户体验系统引入网络。然而在网络元素和连接的设备数量的增加的情况下，没有AI分析的帮助运行5G网络几乎是不可能的。 为了实现这种转变，CSP需要一个分析框架，通过添加一组丰富的分析和应用程序加速器来加强现有数据池的部署，以提取和利用存储在数据池中的数据，添加缺少的数据，并快速创建解决关键业务问题的分析应用程序。 创建能够实时快速访问数据的应用程序，这对于实现向5G和真正转换的过渡至关重要。 使用AI的分析来改变与客户互动的方式 可访问数据不仅会改变CSP如何运营网络，还会改变他们与客户的互动方式。 使用AI驱动的分析可以将来自网络的数据实现共享，允许所有感兴趣的部门利用原始数据和已处理的数据轻松地将客户视为一个整体。每个部门都可以看到客户完整的数据，然后根据需要创建部门特定的应用程序。 下一代网络运营系统能轻松分析服务器，应用程序，无线电，路由器，交换机，SIM，物联网模块和CPE无缝生成的数万亿条数据。这些分析将能够看到正常模式下的微小变化，对即将发生故障预警指示。
61810发布于 2018-08-16 - 来自专栏数据科学（冷冻工厂）
数据分析：5个数据相关性指标
介绍相似性度量是许多数据分析和机器学习任务中的重要工具，使我们能够比较和评估不同数据片段之间的相似性。有许多不同的指标可用，每个指标各有利弊，适用于不同的数据类型和任务。 它常用于连续的数值数据，易于理解和实现。但是，它可能对异常值很敏感，并且没有考虑不同特征的相对重要性。 它通常用于文本数据并且可以抵抗向量大小的变化。但是，它没有考虑不同特征的相对重要性。 它通常用于分类数据并且可以抵抗集合大小的变化。但是，它不考虑集合的顺序或元素的频率。 它通常用于连续的数值数据，并考虑不同特征的相对重要性。但是，它可能无法准确反映非线性关系。
1.2K20编辑于 2023-01-19 第七章 AI数据质量-5
7.7 基于智能硬件的数据采集及标注方案 7.6章节提到的无论是基于数据增强及AI合成数据还是基于3D渲染生成数据，都存在真实性不足的问题：生成数据可能与真实数据存在差异，从而影响模型的泛化能力。 成本收益 (1）采集阶段的收益：采集场景上，我们每次以5度为单位，高度范围为90度，左右转动为90度，俯仰为60度，则最多一轮可采集90/5*90/5*60/5= 3888张。 图7-32 基于机械臂的证件样本自动化采集方案的收益 7.9 总结 本章我们首先介绍了数据在AI算法整个生命期中的重要性，接着介绍了AI数据的采集流程和采集量及其质量的评估。 人工采集样本存在效率低下的问题，我们可以通过程序合成进行样本数据的扩充，包括如数据增强、基于AI合成数据以及基于3D渲染引擎生成数据等手段。 下一章节，我们将进入AI模型质量的评估和测试环节。
62610编辑于 2025-04-15- 来自专栏数据科学（冷冻工厂）
数据分析：5个数据相关性指标
介绍 相似性度量是许多数据分析和机器学习任务中的重要工具，使我们能够比较和评估不同数据片段之间的相似性。有许多不同的指标可用，每个指标各有利弊，适用于不同的数据类型和任务。 它常用于连续的数值数据，易于理解和实现。但是，它可能对异常值很敏感，并且没有考虑不同特征的相对重要性。 它通常用于文本数据并且可以抵抗向量大小的变化。但是，它没有考虑不同特征的相对重要性。 它通常用于分类数据并且可以抵抗集合大小的变化。但是，它不考虑集合的顺序或元素的频率。 它通常用于连续的数值数据，并考虑不同特征的相对重要性。但是，它可能无法准确反映非线性关系。
85710编辑于 2023-02-27 - 来自专栏嵌入式音视频
【AI】数据分析-数据可视化模块
NumPy(Numerical Python) 是科学计算基础库，提供大量科学计算相关功能，比如数据统计，随机数生成等。 Numpy 是 Python 语言在科学计算领域取得成功的关键之一，如果想通过 Python 语言学习数据科学、人工智能（包括深度学习、语言处理等分支），就必须学习 Numpy。 , order = None, subok = False, ndmin = 0) 表 1-1 array 参数说明 ---- 【示例2】 创建一维数组 b=np.array([1,2,3,4,5,6 ]) print(b) print('b 数组的维度：',b.shape) 执行结果如图 ---- 【示例3】创建二维数组 a=np.array([[1,2,3],[4,5,6],[7,8,9]] ],ndmin=3) print(a) 执行结果如图 ---- 【示例5】array()函数 dtype 参数的使用 a=np.array([1,2,3,4,5,6],dtype=complex)
1.1K20编辑于 2023-03-16 - 来自专栏接地气学堂
5个步骤，用数据分析优化业务
“数据分析，要分析出具体业务优化点”是很多公司对数据分析师的要求，也是让很多同学们头大的问题。 怎么从一个个数据指标里，得出一个优化结论？今天结合一个具体问题场景，系统讲一下该怎么做。 问：如何分析该问题？直播业务优化点在哪里？ 01 常见错误做法 很多同学习惯于数据库里有啥字段就用啥，不区分场景，不打标签，结果自然分析不出东西。 我早知道了…… 3、我发现看了直播的购买率高出5%——废话！肯定高呀，所以呢？ 常见的质疑就是这么来的。这些结论之所以都是废话，是因为业务看了以后，真的不知道能干啥。 5、即使拆分，也不见得能提升转化率，目前没有数据证明这一点。 总之，所谓拆分，可能只是看起来很美好，实操纠结点很多。 但是，这些具体的纠结点，对数据分析来说简直是如获至宝。 分析的问题越具体，越容易得结论，分析的问题越模糊，才越难出结论。有了具体痛点，可以看：如何用数据解决问题。 ▌第三步：归纳分析逻辑 业务痛点可能是很分散的，用数据进行解决，需要的是分析逻辑。
61730发布于 2021-11-16 - 来自专栏数据科学（冷冻工厂）
ChIP-seq 分析：数据质控实操（5）
数据今天将继续回顾我们在上一次中研究的 Myc ChIPseq。这包括用于 MEL 和 Ch12 细胞系的 Myc ChIPseq 及其输入对照。 Impact of artifact removal on ChIP quality metrics in ChIPseq and ChIP-exo data.Front Genet. 2014 Apr 10;5: 然后，我们可以使用 ChIPQC 包中的 ChIPQCsample() 函数对我们的 ChIPseq 样本质量进行初步分析。在这里，我们评估我们在之前的会话中使用 Rsubread 对齐的样本的质量。 多样本QC最好对照您的输入对照和我们正在使用的其他 Myc 样本（如果您没有自己的数据，甚至是外部数据）检查 ChIPseq 质量。
62020编辑于 2023-02-19 - 来自专栏数据森麟
Pandas 数据分析 5 个实用小技巧
我攥了很久才汇总出这个小技巧系列手册，现暂命名为：《Pandas数据分析小技巧系列手册1.0》 我会一篇5个小技巧陆续推送出来，如果可以欢迎星标我的公众号：Python与算法社区 小技巧1：如何使用map 小技巧2：使用 replace 和正则清洗数据 Pandas 的强项在于数据分析，自然就少不了数据清洗。 一个快速清洗数据的小技巧，在某列上使用 replace 方法和正则，快速完成值的清洗。 <class 'float'> 1 <class 'float'> 2 <class 'float'> 3 <class 'float'> 小技巧3：使用 melt 如何对数据透视分析 这也是我们在数据清洗、特征构造中面临的一个任务。 "]} df = pd.DataFrame(d) df 结果： name categories 0 Jone A 1 Alica C 2 Emily A 3 Robert D 4 Tomas A 5
3.2K20发布于 2020-12-18 - 来自专栏数据科学（冷冻工厂）
ChIP-seq 分析：数据质控实操（5）
数据 今天将继续回顾我们在上一次中研究的 Myc ChIPseq。这包括用于 MEL 和 Ch12 细胞系的 Myc ChIPseq 及其输入对照。 Impact of artifact removal on ChIP quality metrics in ChIPseq and ChIP-exo data.Front Genet. 2014 Apr 10;5: 您可以在 Anshul Kundaje[5] 的网站或直接从 Encode[6] 网站找到大多数基因组的黑名单 QCresult <- ChIPQCsample(reads = "/pathTo/myChIPreads.bam 然后，我们可以使用 ChIPQC 包中的 ChIPQCsample() 函数对我们的 ChIPseq 样本质量进行初步<em>分析</em>。 多样本QC 最好对照您的输入对照和我们正在使用的其他 Myc 样本（如果您没有自己的<em>数据</em>，甚至是外部<em>数据</em>）检查 ChIPseq 质量。
63420编辑于 2023-02-27 - 来自专栏机器学习/数据可视化
经典：5种常见的数据分析方法
数据分析步骤 个人理解的数据分析6大步骤： 第一步：明确数据分析的目的，弄清楚需要做什么 第二步：梳理和确定分析逻辑，确定怎么进行分析 第三步：分析所用数据的收集、处理等，确定数据分析的数据 第四步：采用统计 、数据挖掘等技术，提取有用信息 第五步：采用文字、表格、可视化图形来展示数据 第六步：得出数据分析的结论，发现业务价值，撰写分析报告 [008i3skNgy1gq9pgem5woj30z10u0n0h.jpg --MORE--> 数据分析方法 下面介绍的是5种基于逻辑层面的数据分析方法： [008i3skNgy1gq9pluffcqj31ey0u0doy.jpg] PEST分析法 PEST分析是指宏观环境的分析 5W2H方法 5W2H方法也称之为七何分析法，包含的内容是： when：什么时候 who：对象 why：为什么 what：是什么 where：在哪里 how：怎样的方式 how much：数量大小 该方法适用于用户行为分析 比如某家公司的SWOT分析类似如下： [008i3skNgy1gq9t5p26r0j30y60bswgy.jpg] 总结 数据是从业务中产生的，数据本身没有价值。
2.6K30发布于 2021-05-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号