- 综合排序
- 最热优先
- 最新优先
- 来自专栏锦小年的博客
Python数据分析(4)-numpy矩阵的操作
在Python中，使用io之后需要关闭他们以释放内存，例如读取或者写入文件。 凡是调用open()后必须调用close()来关闭，但是这样比较繁琐，Python提供了with关键词来方便用户编写程序并且能够合理的管理内存。
87860发布于 2018-01-02 - 来自专栏Python数据科学
Python数据分析实战基础 | 清洗常用4板斧
☞500g+超全学习资源免费领取 这是Python数据分析实战基础的第三篇内容，主要对前两篇进行补充，把实际数据清洗场景下常用但零散的方法，按增、删、查、分四板斧的逻辑进行归类，以减少记忆成本，提升学习和使用效率 01 增——拓展数据维度 1.1 纵向合并 这三个sheet的数据，维度完全一致（每列数据都是一样），纵向合并起来分析十分方便。 1.2 横向合并 横向合并涉及到连接问题，为方便理解，我们构造一些更有代表性的数据集练手： 两个DataFrame是两张成绩表，h1是5位同学的数学、英语、语文成绩，h2是4位同学的篮球和舞蹈成绩，现在想找到并合并两张表同时出现的同学及其成绩 02 删——删空去重 2.1 删空 在一些场景，源数据的缺失（空值）对于分析来说是干扰项，需要系统的删除。 2.2 去重 说是讲去重，但是案例数据比较干净，没有两行数据是完全一样的，所以我们要制造点困难，增加几行重复值： 把源数据重复两遍，赋值给repeat，这样每一行数据都有重复的数据。
2.9K21发布于 2019-11-21 - 来自专栏锦小年的博客
Python数据分析(4)-numpy数组的属性操作
ndarray有两个属性：维度（ndim）和每个维度的大小shape（也就是每个维度元素的个数） import numpy as np a = np.arange(24) a.shape=(2,3,4) print('数组为：', a) print('数组的维度：', a.ndim) print('数组维度的大小',a.shape) 输出： 数组为： [[[ 0 1 2 3] [ 4 5 6 7] [ 8 9 10 11]] [[12 13 14 15] [16 17 18 19] [20 21 22 23]]] 数组的维度： 3 数组维度的大小 (2, 3, 4) # a.shape=(4,6),直接对a进行操作 a.shape = (4,6) print('a:',a) #a.reshape(3,8)是返回一个修改后维度大小的新数组，不会修改原来的数组a 修改属性的时候，属性元素之和一定要等于数组的元素之和，例如原数组有24个元素，则属性只能修改为：一维：（24,）二维：（2，12）、（3，8）、（4，6），三维：（2，3，4），四维：（2，3，2，2）
1.7K30发布于 2019-05-26 - 来自专栏算法channel
Kaggle影评数据集，Python数据分析小例子1-4
1 了解数据 数据来自kaggle，共包括三个文件： movies.dat ratings.dat users.dat movies.dat包括三个字段：['Movie ID', 'Movie Title /data/movietweetings/movies.dat', delimiter='::', engine='python', header=None, names = ['Movie ID', 依次导入其他两个数据文件 users.dat: users = pd.read_csv('. /data/movietweetings/ratings.dat', delimiter='::', engine='python', header=None, names = ['User ID', 4 提取目标行记录 得到掩码mask后，pandas非常方便地能提取出目标记录： comedy = movies[mask] comdey_ids = comedy['Movie ID'] 以上，在pandas
2.1K11发布于 2020-02-13 - 来自专栏python前行者
《python数据分析与挖掘实战》笔记第4章
因此，在Python的Scipy库中，只提 供了拉格朗日插值法的函数(因为实现上比较容易)，如果需要牛顿插值法，则需要自行编写 代码清单4-1，用拉格朗日法进行插补 # -*- coding:utf-8 使用主成分分析降维的程序如代码清单4-6所示。 4.5、Python主要数据预处理函数 表4-7 Python主要数据预处理函数 函数名 函数功能 所属扩展库 interpolate 一维、高维数据插值 Scipy unique 去除数据中的重复元素 (4) random 1 ) 功能：random是Numpy的一个子库(Python本身也自带了 random,但Numpy的更加强大)，可以用该库下的各种函数生成服从特定分布的随机矩阵，抽样时可使用。 3 ) 实例：使用PCA()对一个10x4维的随机矩阵进行主成分分析。
2.3K20发布于 2021-03-03 - 来自专栏c/c++的学习笔记
python数据分析——Python数据分析模块
Python数据分析模块 前言 在当今数字化时代，数据分析已经变得不可或缺。而Python，作为一种通用编程语言，其丰富的库和强大的功能使得它成为数据分析领域的佼佼者。 Python数据分析模块，正是这一领域的核心组成部分，为数据科学家和工程师提供了强大的武器库。 Python数据分析模块的核心库主要包括NumPy、Pandas和Matplotlib。 在医疗研究中，Python数据分析模块可以帮助我们分析病人的医疗数据、基因数据等，从而推动医学的进步。 无论是数据科学家、工程师还是其他领域的专业人士，都可以通过学习和掌握Python数据分析模块来提高工作效率、提升数据分析能力。随着大数据时代的到来，Python数据分析模块的应用前景将更加广阔。 二、Pandas模块 Pandas是Python环境下非常重要的数据分析库。当使用Python进行数据分析时,通常都指的是使用Pandas库作为分析工具对数据进行处理和分析。
1.6K10编辑于 2024-03-20 - 来自专栏人生代码
利用Python进行数据分析(4) NumPy基础: ndarray简单介绍
一、NumPy 是什么 NumPy 是 Python 科学计算的基础包，它专为进行严格的数字处理而产生。在之前的随笔里已有更加详细的介绍，这里不再赘述。 利用Python进行数据分析(1) 简单介绍 二、ndarray 是什么 ndarray 是一个多维的数组对象，具有矢量算术运算能力和复杂的广播能力，并具有执行速度快和节省空间的特点。 arange() 函数 这个函数是 Python 内置函数 range 的数组版，使用方法： ? 四、ndarray 的数据类型 在创建 ndarray 数组的时候可以指定元素的数据类型，例如： 所支持的数据类型包括整数、浮点数、复数、布尔值、字符串或是普通的 Python 对象（object）。 在创建 ndarray 数组的时候，如未显示指定类型，它会尝试推断出一个合适的数据类型。
1.4K20发布于 2019-09-29 - 来自专栏好奇心Log
Python数据分析 | 相关分析
目前手上有两本书，一本《利用Python进行数据分析》，一本《Python数据科学》。 对于学习什么东西，都有它的「道」和「术」。「道」即原理，「术」即技巧。 它并不会真正的教你如何去分析数据，适合查阅。 而后者呢，更注重数据分析的原理，教我们如何去剖析数据，得到我们想要的结果。 所以接下来会以后者作为学习的方向，不能仅仅停留在描述性数据分析上(数据可视化)。 更应该多花时间在预测性数据分析上(建立数据模型预测)。 另外上期的送书活动已结束，两位小伙伴也联系我了。 / 01 / 前言 说实话，《Python数据科学》这本书是真的不错。 它不仅提供了大量的专业术语的解释，还有各式各样通俗易懂的案例。 非常适合新手学习，后期一定也给大家争取争取一下送书的福利！ 所以在每篇的前言，我会摘要一些《Python数据科学》的相关内容。 一方面，加深自己对相关知识的印象。 另一方面，也分享给大家，补充一下专业知识。
97650发布于 2021-11-10 - 来自专栏Python in AI-IOT
Python数据分析---性能分析
从上亿条的工业物联网数据中快速检索所需要的数据进行算法分析以及可视化，需要大量的科学运算，为了保证整个过程在用户可以忍受的等待时间内(10s)，需要在代码中找到影响性能瓶颈的代码或函数，然后对其优化 下面介绍自己日常经常使用的性能分析手段： 一般上我写代码没有使用Pycharm等高级IDE，而是在Python自带的IDE中编写。 image.png 利用jupyter的%time，%timeit image.png image.png image.png image.png 利用%run -p和%run -t来分析性能和执行时间 需要文件本身是从上到下执行的语句，如果是模块，为其编写main函数 image.png image.png image.png 使用python -m cProfile youcode.py 来对代码进行性能分析,也可以用python -m cProfile youcode.py -o youcode.prof将分析结果保存在文件中 image.png
1.1K20发布于 2020-05-13 - 来自专栏数据山谷
Python数据分析
Python数据分析 工欲善其事，必先利其器“，Python是目前为止做数据分析最常用的编程语言，我们可以站在巨人的肩膀上，高效完成数据分析。 从Python的受欢迎程度上看，一直呈上升趋势 ? 我们现在要使用Python来做数据分析，主要从两个方面来考虑问题： 第一：选择什么开发工具。 第二：学习哪些知识来解决数据分析的问题。 本公众号中有详细的anaconda的安装流程，文章链接如下： anaconda安装流程 大斌哥，公众号：数据山谷Python之Anaconda安装 数据分析使用Python中的知识点和常见的科学计算库也需要给大家列举出来 Python做数据分析主要是解决数据清洗及数据可视化的问题，掌握Python基本的语法规则，会调用第三方模块对于提高数据分析能力非常重要。 而NumPy和Pandas就是数据清洗最好用的工具，Matplotlib和Seaborn是解决数据可视化的工具包。我们可以从实用的角度来学习Python，提高数据分析的能力和效率。
99610发布于 2020-11-12 Python 数据分析
很多人以为 Python 数据分析要写大量代码，其实日常分析中，最核心的动作往往只有几个：读取数据、计算指标、分组汇总、排序、可视化。只要掌握 pandas，少量代码就能完成一次完整分析。 一、为什么用 Python 做数据分析？ 安装常用库：pip install pandas matplotlib二、数据分析的标准流程一次完整的数据分析，通常包含五步：明确问题：比如“哪个品类销售额最高？” 六、少量代码的秘诀想让 Python 数据分析代码更少，可以记住四个原则：优先用 pandas 内置方法：sum、mean、groupby、sort_values、idxmax。 七、结语Python 数据分析并不一定需要很长代码。一次完整的分析，可以浓缩成十几行：读取数据、计算指标、排序汇总、画图、解读结论。真正重要的是：先问对问题，再选对指标，最后把结果翻译成业务行动。
17110编辑于 2026-09-16- 来自专栏R语言数据分析
表达芯片数据分析4——复杂数据及其分析（多分组数据）
多分组数据示例：GSE474练习：GSE106191一般有一个对照组，多个实验组或者两两差异比较。 (patchwork)g[[3]]+g[[4]]ggsave("enrich.png",width = 12,height = 7)多分组数据---title: "GSE474"output: html_documenteditor_options 4.tinyarray的简化操作多分组的数据，get_deg_all仍然可以帮你简化操作，目前是三分组就两两差异分析，四个或五个分组的数据是后面几个组与第一个组差异分析，暂不支持其他的做法和更多的分组。 Group,ids,logFC_cutoff = 0.585,entriz = F)dcp$plotsggplot2::ggsave("deg.png",width = 15,height = 10)图片富集分析富集分析的输入数据是差异基因名字 :4]library(patchwork)g[[3]]+g[[4]]ggplot2::ggsave("enrich.png",width = 12,height = 7)
98150编辑于 2023-10-06 - 来自专栏PPV课数据科学社区
数据分析&数据挖掘入门知识分享（4）
编者按：本文为 数据分析&数据挖掘入门知识分享（3）的连载，还有一部分待上传，欢迎小伙伴们关注学习，若对您有帮助请分享至朋友圈，让更多人学习！ 以下图片点击横屏观看效果更佳
98850发布于 2018-04-24 - 来自专栏数据STUDIO
Python数据分析之数据探索分析(EDA)
---- 本期Python数据分析实战将详细介绍日常工作中所常用的数据探索分析方法与技巧，将从数据质量分析和数据特征分析两大方面进行刨析。 数据质量分析 在做数据质量分析之前需要正确理解业务需要，从一定的渠道正确获取适量的数据。 接下来利用Python进行数据分析时，需要根据所获得数据的具体特征，选用合适的数据读取方法和工具，数据获取三大招将帮助读者快速理解并选择合适并适合的方法，便于后续数据探索工作。 数据特征分析 对数据进行质量分析后，通过绘制图表、计算某些特征量等手段进行数据的特征分析。 从五个角度出发，利用统计指标对定量数据进行统计描述。 ，可用于定量数据和定性数据的分析，且有着不同的分析策略。
5.1K60发布于 2021-06-24 - 来自专栏阿黎逸阳的代码
Python数据分析—数据选择
再比如信贷领域，可以通过分析申请人的征信数据，建模计算出申请人逾期的可能性大小，决定是否放贷，从而提高公司资金的使用价值。 在数据分析越来越热门的今天，学会数据分析，就是你升职加薪的重要砝码。 本文是数据分析的第二课，教大家如何在python中进行数据选择。 本文目录 选择数据框中的某一列 选择数据框中的多列 选择数据框中的某一行 选择数据框中的多行 选择子数据框 选择带条件的数据框 注意：本文沿用数据分析第一课【Python数据分析—数据建立】里的数据框 [:, ['height','name']] #方法二 date_frame.iloc[:, [1,4]] #方法三 前两种方法得到的结果如下： ? 4 选择数据框中的某几行 如果需要选择数据框中的某几行，可以采用如下三种方法： 第一种方法：数据框的名字[起始行下标:终点行下标加一]。
1.4K10发布于 2020-11-24 - 来自专栏为学
Python SDK入门（4）—— 记录数据
Python SDK入门（4）—— 记录数据 对于NAO来说，记录下它众多传感器的数据是很容易的。 让我们来看一个简单的例子吧： # -*- UTF-8 -*- """记录下一些传感器的数据，并将它们写入到一个文本中""" # MEMORY_VALUE_NAMES 是我们想要存储的ALMemory的值的列表 import os import sys import time from naoqi import ALProxy def recordData(nao_ip): """记录ALMemory中的数据 但是不要尝试更高的频率去获取数据，这会给NAO的CPU带来很大的负担！
72910发布于 2019-12-17 Python数据挖掘编程基础4
2.1.2 判断与循环a.判断和循环是所有编程语言的基本命令，Python的判断语句格式如下。 if 条件句1:语句1elif 条件2:语句2else:语句3b.需要特别指出的是，Python一般不使用花括号({}），也没有end语句，可使用缩进对齐作为语句的层次标记。 c.Python中有for循环和while循环两种，如代码清单2-10所示。
23310编辑于 2025-05-09- 来自专栏程序猿杂货铺
上映4天，票房7.4亿的《海王》，用Python分析数据看大片！
写在前面 今天我要蹭个热点，我要用Python加上一些数据分析，来证明《海王》好看。 ? 上映4天，票房7.4亿 ? 在做数据分析之前，我们需要先对数据做清洗，将数据处理到最佳 读取数据,读取数据的时候记住，需要把header=None然后增加names # 读取数据 def get_data(): df = 要我说海神三叉戟就是个大型信号扩散器，帮助扩散命令罢了 看一下评论时间 对于《海王》我只获取了4天的数据，看一下大家都在什么时间进行评论吧，晚上10点以后写评论的比较多，估计是大家看完电影，回家没啥事情才开始写评论吧 def analysis4(): data = clean_data() # 获取时间 # 添加小时 data["hour"] = data["startTime"].dt.hour
70920发布于 2019-09-03 - 来自专栏小小挖掘机
数据分析EPHS(4)-使用Excel和Python计算数列统计值
本文介绍使用Excel和Python来计算上述统计值，而Hive和Spark将放在下一篇中。 1、数据介绍 这里咱们使用的是iris分类数据集，数据下载地址为： http://archive.ics.uci.edu/ml/datasets/Iris 下载后转换为xlsx格式的文件，数据如下： ? 在上面的数据中，如果只计算4个数字的总体标准差，结果当然是0，因为四个数字都是2，所以STDEV.P的结果是0，但是STDEVPA的结果却不是0，因为这个函数将文本和逻辑值False当作0处理，把逻辑值 好了，EXCEL部分的说明先到这里了，接下来用Python来计算一下。 3、使用Python计算统计值 使用Python的话，咱们分为四个方面来介绍，即使用list、numpy和pandas来计算数列的统计值。
3K20发布于 2019-07-12 - 来自专栏阿黎逸阳的代码
Python数据分析—数据更新
在对海量数据进行分析的过程中，可能需要增加行和列，也可能会删除一些行和列。 今天介绍数据分析的第五课，教大家如何在python中对数据框进行一些更新操作。 本文目录 在数据框最后追加一行 在数据框中插入一列 删除数据框中的行 删除数据框中的列 删除满足某种条件的行 注意：本文沿用数据分析第一课【Python数据分析—数据建立】里的数据框date_frame 接着来看下删除第一行和第五行的具体代码： date_frame.drop([0,4]) 得到结果如下： ? .drop([0,4])表示删除索引号为0和4的行，实际代表第一行和第五行。 4 删除数据框中的列 同样可以用drop函数来删除列。 至此，在python中对数据框进行更改操作已介绍完毕，大家可以动手练习一下，思考一下还可不可以对数据框进行别的操作
1.4K20发布于 2020-11-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号