[诸神缄默不语-个人技术博文与视频目录](https://blog.csdn.net/PolarisRisingWar/article/details/116396744)

[toc]
# 为什么选择HDF5？

在数据处理领域，**HDF5**（Hierarchical Data Format）可谓是大数据时代的隐形冠军。相比传统的CSV、Excel等格式，HDF5拥有三大杀手锏：

1. **层次分明** - 类文件夹结构管理数据
2. **高效存储** - 支持TB级数据快速存取
3. **跨平台** - 通用格式无缝衔接各语言

特别适合处理科学计算、深度学习中的海量数据，堪称数据管理的瑞士军刀。
# 一、HDF5文件结构解密

打开HDF5文件就像进入一个数据超市：

- **Groups**：类似文件夹，用于组织数据
- **Datasets**：实际存储的多维数据矩阵
- **Attributes**：元数据标签，记录关键信息
# 二、Python实战：h5py快速上手
h5py官方文档：<https://docs.h5py.org/en/stable/index.html>
## 2.1 安装只需1行
```bash
pip install h5py
```
## 2.2 获取HDF5文件流
通过`h5py.File(path,mode)`可以新建或者获取已有的HDF5文件流。

mode：
- `"w"`：会覆盖已存在的文件，直接创建新的HDF5数据
- `"r"`：默认模式，只读
- `"r+"`：可修改

创建hdf5文件的示例：（这里是用上下文管理器（with语句）来保证文件关闭，如果直接将文件流放到内存里，要记得`close()`掉）
```python
import h5py

# 创建新文件（'w'模式会覆盖已存在的文件）
with h5py.File('my_data.hdf5', 'w') as f:
    # 创建数据集：存储10x10的随机矩阵
    f.create_dataset('temperature', data=np.random.rand(10,10))  # 指定data的写法
    f.create_dataset('calender', (3,4))  # 指定shape的写法
    
    # 添加元数据
    f.attrs['create_date'] = '2024-03-20'
```
## 2.3 数据读写
```python
with h5py.File('my_data.hdf5', 'r+') as f:
    # 读取数据
    temp_data = f['temperature']  # h5py._hl.dataset.Dataset
    temp_data_value = temp_data[:]  # numpy.ndarray

    print(temp_data.name)  # temperature
    print(temp_data.shape)  # (10,10)
    print(temp_data.dtype)  # float64
    
    # 修改部分数据
    f['temperature'][0,0] = 36.5

    # 修改所有数据
    f['temperature'][...] = numpy_data
    
    # 创建group
    group = f.create_group('sensors')  # h5py.Group

    # 获取group对象到内存中也使用键名
    group = f["sensors"]

    # 获取所有键名（这里包括dataset和group）
    keys = f.keys()  # 返回一个迭代器

    # 用f.visit(func)来直接遍历所有dataset和group
    def print_name(name):
        print(name)
    f.visit(print_name)

    # group就完全可以当成hdf5来用，创建数据什么的都跟hdf5文件流的一样：
    group.create_dataset('sensor1', data=[1,2,3])  # 指定data的写法
    group.create_dataset('sensor2', (3,4))  # 指定shape的写法
```
# 三、高手技巧：进阶操作

## 3.1 分块存储大文件
```python
# 创建支持分块存储的数据集
dset = f.create_dataset("big_data", (1000, 1000),
                        chunks=(100, 100),
                        compression="gzip")
```
常用压缩方式对比：

| 压缩方式 | 压缩率 | 速度  |
|----------|--------|-------|
| gzip     | 中     | 快    |
| lzf      | 低     | 最快  |
| szip     | 高     | 慢    |
# 四、直观查看hdf5数据
软件1：HDF Explorer

键名如果是中文而想直接显示的话似乎必须是GBK编码的字节流格式才行呢。

软件2：HDFView
# 五、常见问题
1. `OSError: Unable to open file（file signature not found）`：这就是纯文件损坏的问题，我是U盘传HDF5文件后中出现的这个问题，换个移动硬盘就好了。
# 六、本文撰写过程中参考的其他网络资料
1. [Python中的h5py包使用（详细图文教程）](https://blog.csdn.net/qq_40280673/article/details/135392999)
2. [报错：h5文件读取失败-OSError:Unable to open file （file signature not found） - pythoner_wl - 博客园](https://www.cnblogs.com/pythonwl/p/14189474.html)

在数据处理领域，HDF5（Hierarchical Data Format）可谓是大数据时代的隐形冠军。相比传统的CSV、Excel等格式，HDF5拥有三大杀手锏：

玩转HDF5数据：用Python的h5py实现高效数据管理

本文围绕用Python的h5py实现HDF5数据高效管理展开。先介绍HDF5优势，如层次分明、高效存储、跨平台等。接着讲解文件结构，展示h5py安装、文件流获取、数据读写等操作，还提及进阶技巧、查看数据软件、常见问题及参考资料。

程序开发工程师

编程语言

数据库

大数据

HDF5文件格式详解：从基础结构到Python实战技巧。学习如何使用h5py库高效处理海量数据，包括文件创建、数据读写、分块存储等进阶操作。掌握HDF5在科学计算和深度学习中的优势，解决常见报错问题，提升大数据处理效率。

深度学习

数据管理

Python

2026采购季 | AI焕新·智启新局

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

玩转HDF5数据：用Python的h5py实现高效数据管理-腾讯云开发者社区-腾讯云

玩转HDF5数据：用Python的h5py实现高效数据管理

玩转HDF5数据：用Python的h5py实现高效数据管理

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐