- 综合排序
- 最热优先
- 最新优先
- 来自专栏Java建设者
0.2 秒居然复制了 100G 文件？
sh-4.4# ls -lh -rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt 但是copy起来为什么会这么快呢？ sh-4.4# time cp . 0m0.107s user 0m0.008s sys 0m0.085s 一个 SATA 机械盘的写能力能到 150 M/s （大部分的机械盘都是到不了这个值的）就算非常不错了，正常情况下，copy 一个 100G 分析文件 我让他先用 du 命令看一下，却只有 2M ，根本不是100G，这是怎么回事？ sh-4.4# du -sh ./test.txt 2.0M . Change: 2021-03-13 12:22:46.562243000 +0000 Birth: - stat 命令输出解释： Size 为 107374182400（知识点：单位是字节），也就是 100G /1024 = 100M 为了支持100G的文件，我们的Block数组本身就得100M ！
1.1K10发布于 2021-11-08 - 来自专栏京程一灯
用 Node + MySQL 处理 100G 数据
通过这个 Node.js 和 MySQL 示例项目，我们将看看如何有效地处理 数十亿行 占用 数百GB 存储空间的数据。
2.2K31发布于 2019-03-27 - 来自专栏云深知网络 可编程P4君
100G智能网卡能干啥？
（一）FPGA智能网卡市场分析报告 （二）Xilinx篇 （三）Intel篇 （四）Pensando篇 （五）VMware篇 （六）赛道篇 （七）存储篇 （八）卸载篇 （九）P4架构 （十）Nitro篇 AWS 在Nitro芯片上 品尝到掌控命运的甜头 从此在自研道路上快乐出发 AWS交换机：我芯由我不由天 最新一代 基于ARM架构的Graviton2 敲山震虎提振ARM生态的声威 配合Nitro系列产品更是威力无比 基于Graviton2 AWS推出C6gn instance 带宽在Nitro助
68240编辑于 2023-02-15 - 来自专栏架构之美
如何做到 0.2 秒复制 100G 文件？
sh-4.4# ls -lh -rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt 但是 copy 起来为什么会这么快呢？ 0m0.107s user 0m0.008s sys 0m0.085s 一个 SATA 机械盘的写能力能到 150 M/s （大部分的机械盘都是到不了这个值的）就算非常不错了，正常情况下，copy 一个 100G 分析文件 我让他先用 du 命令看一下，却只有 2M ，根本不是 100G，这是怎么回事？ sh-4.4# du -sh ./test.txt 2.0M . 比如我们想让文件系统最大支持 100G 的文件，Block 数组需要这么长： (10010241024)/4 = 26214400 Block 数组中每一项是 4 个字节，那就需要 (26214400* 为了支持 100G 的文件，我们的 Block 数组本身就得 100M ！ 并且对每个文件都是如此 ！即使这个文件只有 1K！ 这将是巨大浪费！
73340编辑于 2022-05-18 100G光模块概述及应用前景
100G单模光模块和100G多模光模块根据应用的距离长短和光纤使用类型，一般将100G光模块分为100G单模光模块和100G多模光模块两大类。 华为100G光模块、华三100G光模块目前，国内市场上，华为、华三和中兴是国内的三大通信设备供应商，那么华为100G光模块、华三100G光模块和中兴100G光模块在市面的占比非常高。 华为100G光模块华为作为领先的ICT设备供应商，那么华为品牌设备上的100G端口所用的光模块，基本上用的都是华为品牌的100G光模块。 从型号上可以看出，华三100G光模块的市场主要集中在短距离上，长距离100G光模块占比不大。100G光模块价格100G光模块的成本在近几年来，有很大程度的下降。 100G光模块的应用1. 数据中心100G光模块 数据中心架构从10G以太网到25G/100G以太网的转变，这种转变使得数据中心需要大量的100G光模块，那么其在网络建设成本中的占比越来越高。
67810编辑于 2024-11-25- 来自专栏JAVA烂猪皮
用 Node + MySQL 如何处理 100G 数据
通过这个 Node.js 和 MySQL 示例项目，我们将看看如何有效地处理 数十亿行 占用 数百GB 存储空间的数据。
2K50发布于 2018-08-03 - 来自专栏网络交换FPGA
【实测】基于Corundum架构的100G RDMA网卡
三年前的2020年5月12日，我们分享了一篇有关100G开源网卡的文章《业界第一个真正意义上开源100 Gbps NIC Corundum介绍》，随后又陆陆续续分享了多次有关Corundum上板测试及仿真环境搭建的文章 ：《揭秘：普通电脑换上Xilinx Alveo U50 100G网卡传文件会有多快？》 ，《开源100 Gbps NIC Corundum环境搭建介绍（一）》，《开源100 Gbps NIC Corundum环境搭建介绍（二）仿真及工程恢复》，【干货】寻找开源100G NIC Corundum 大概两年前，我们决定基于开源的Corundum架构研制100G RDMA网卡，终于目前有了稳定的一版，以下是详细介绍，欢迎大家留言讨论指导。 我们实现的100G RDMA网卡具体指标和性能如下： 测试场景及拓扑连接图如下。 TCP测试结果如下。
6K53编辑于 2023-10-25 - 来自专栏DBA 平台和工具
100G大表Alter更改表结构技术方案探讨
线上A表有100G+的数据，如果直接modify XXX varchar(500)，会锁全表，即使用pt-osc工具凌晨搞，预估一宿加不完，并且从库会出现大面积延迟，读取的数据将不准确。
41510编辑于 2023-12-06 - 来自专栏donghui的博客
SonarQube 数据清理，从100G 到9G
数量已超过 1000 因为每个应用的每个 git 分支的每次 push 事件都会触发 Sonar 分析任务 这样会有很多的数据都存储下来，从而导致数据量很大 目前 Mysql 数据库占用磁盘空间达到100G 然后，查看数据库所占磁盘空间，也有大幅度下降：100G —> 9G 。 至此，SonarQube 的数据清理已取得很好的成果，以此为记。
3K30发布于 2019-07-16 - 来自专栏云深知网络 可编程P4君
腾讯100G云服务器诞生记！
——弗罗斯特 从25数到100，普通人只需要几十秒，从25G到100G，腾讯云用了10个月。 纠结：50G还是100G? 按照目前云服务器市场普遍的行情，从25G直接上到100G的还没有先例，稳妥的做法是从25G过渡到50G，再去突破100G这个关卡，而且，目前行业主流云厂商的做法也是如此。 最终，腾讯云计算团队在全面地评估之后，综合各方面考虑，选择直接上100G。 另一方面，50G毕竟还是一个过渡形态，最终整个业界还是会往100G走。与其亦步亦趋的跟随，不如大胆创新，一步到位，直接从25G升到100G，走一条别人没走过的路。 但是问题和困难也随着出现了。 在软硬件一体化研发加持下，国内首个规模应用100G超大网络的云服务器产品系列，在行业中率先实现单节点接入高达 100G 的超大带宽，相比上一代传输效率最大提升400%，能够为典型的企业级软件、数据库、搜索
3.3K30编辑于 2023-02-15 - 来自专栏入门小站
linux可以用0.2秒复制100G文件???
sh-4.4# ls -lh -rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt 但是 copy 起来为什么会这么快呢？ 0m0.107s user 0m0.008s sys 0m0.085s 一个 SATA 机械盘的写能力能到 150 M/s （大部分的机械盘都是到不了这个值的）就算非常不错了，正常情况下，copy 一个 100G 分析文件 我让他先用du命令看一下，却只有 2M ，根本不是 100G，这是怎么回事？ sh-4.4# du -sh ./test.txt 2.0M . 比如我们想让文件系统最大支持 100G 的文件，Block 数组需要这么长：(10010241024)/4 = 26214400 Block 数组中每一项是 4 个字节，那就需要 (26214400*4 )/1024/1024 = 100M 为了支持 100G 的文件，我们的 Block 数组本身就得 100M ！
84620编辑于 2022-06-02 - 来自专栏城域网光通信
基于反向复用技术的100G光传输系统
近年来，拥有100G端口的交换机、路由器已经初步进入数据网络。为适应这一改变，作为支撑的光传网也即将开始进入100G的传输时代。经过多年的发展，100G技术已日渐成熟。 这些只能是把100G传输应用局限在骨干、核心网。 它支持包括100GBASE-LR4、100GBASE-ER4和100GBASE-SR10的各种100G用户接口，能与任何第三方100G设备无缝连接。 理想应用环境 -最远相距80km无中继站的大容量传输 -作为不同模式40G/100G光接口间的转换 -作为40G/100G光网络的客户侧设备 -在现有网络上升级提供40G/100G传输业务 特点： -目前市场上最高集成度的 100G产品。
99700发布于 2018-06-27 - 来自专栏腾讯云服务器团队的专栏
腾讯云100G云服务器规模应用
作为腾讯云首批规模应用的第六代 100G 云服务器，会给我们带来什么样的优质体验？ 第六代云服务器性能全面提升 首先，第六代云服务器作为全新一代云基础设施产品，自身性能大幅提升。 同时，采用腾讯自研 100G 网络，第六代云服务器也带来全面的网络性能深度优化。 领先的自研能力奠定高可靠性 除了性能的领先，腾讯云 100G 云服务器也采用了全面的自研技术架构，提供超高的设备稳定性。 同时，100G 网络架构支持业务集群的极速拓展，单集群最大可容纳60000台 100G 服务器，并且这个集群可兼容接入 25G/50G 云服务器，具有很强的灵活性和可拓展性。 当前，腾讯云 100G 云服务器也已在电商、社交、游戏等多个业务场景中得到充分验证。
3.8K31发布于 2021-09-09 - 来自专栏OpenFPGA
100G以太网光口的FPGA测试实例
100G光口测试采用C50测试仪和Xilinx的VCU118开发板测试，经过测试发现，Xilinx自带的100G IP核仍然无法跑到满速，跟10G一样，也是只跑到99%的负载率。 硬件环境为采用TestCenter C50测试仪的100G光口连接VCU118开发板上的100G光口进行测试。 ? 连接图（必须用100G专用光纤） ? VCU118开发板 ? C50网络分析仪（两个100G光口、4个五速光口（40G、20G和十百千）、16个十百千自适应电口） 2、100G IP核 所使用的IP核是UltraScale+ 100G Ethernet subsystem 二、100G工程组成及参数配置 1.工程组成 由上文所述的IP核生成example design文件，删去工程中的cmac_usplus_0_pkt_gen_mon模块。
2.9K30发布于 2020-06-30 - 来自专栏网络交换FPGA
100G以太网光口的FPGA测试实例
100G光口测试采用C50测试仪和Xilinx的VCU118开发板测试，经过测试发现，Xilinx自带的100G IP核仍然无法跑到满速，跟10G一样，也是只跑到99%的负载率。 硬件环境为采用TestCenter C50测试仪的100G光口连接VCU118开发板上的100G光口进行测试。 ? 连接图（必须用100G专用光纤） ? VCU118开发板 ? C50网络分析仪（两个100G光口、4个五速光口（40G、20G和十百千）、16个十百千自适应电口） 2、100G IP核 所使用的IP核是UltraScale+ 100G Ethernet subsystem 二、100G工程组成及参数配置 1.工程组成 由上文所述的IP核生成example design文件，删去工程中的cmac_usplus_0_pkt_gen_mon模块。
4.1K20发布于 2019-12-05 - 来自专栏后端技术
100G的ip文件找出最多的100个ip
参考 教你如何迅速秒杀99%的海量数据处理面试题 计海量数据中访问最多的IP (略有扩展) 问题 100G大小的ip文件，每行都是一条IP访问记录。计算器中重复最多的IP，即访问最多的100个IP。 首先，鉴于现在64位os的机器内存最多也就64G，我们不可能把整个100G的文件读入内存再计算。 我们得先分析一下数据源: ip这个东西，先假设是ipv4吧。 假如你的电脑有64G内存，我们是可以这样做的： 为这个100G的文件开启一个流。 每个ip在处理时都转化为一个int型变量。 再开启100G文件的输入流，进行读取。 其它文章认为，"将100G的文件按照余100的结果，分成100份，每个文件就是1G左右，所以1G的内存够用"。这个理由是错误的，原因有二： 100G在分割后，不一定刚好都是1G左右。
3.7K40发布于 2019-06-15 - 来自专栏网络安全与可视化
运营商过渡到100G网络解决方案
由于当前的升级，10G工具在100G核心网络环境中已过时。过渡到100G核心网络需要升级其网络体系结构，以分配监视流量以容纳10G工具，否则这些工具将被淘汰。 分流解决方案– 2018扩展架构 100Gbit-1.png 由高密度光学TAP和高性能网络数据包代理组成的解决方案提供以下功能： 16 x 100G链路4 x 100G镜像端口的全被动分流 使用VLAN
95442发布于 2020-03-31 - 来自专栏数字芯片
100G以太网光口的FPGA测试实例
100G光口测试采用C50测试仪和Xilinx的VCU118开发板测试，经过测试发现，Xilinx自带的100G IP核仍然无法跑到满速，跟10G一样，也是只跑到99%的负载率。 硬件环境为采用TestCenter C50测试仪的100G光口连接VCU118开发板上的100G光口进行测试。 ? 连接图（必须用100G专用光纤） ? VCU118开发板 ? C50网络分析仪（两个100G光口、4个五速光口（40G、20G和十百千）、16个十百千自适应电口） 2、100G IP核 所使用的IP核是UltraScale+ 100G Ethernet subsystem 二、100G工程组成及参数配置 1.工程组成 由上文所述的IP核生成example design文件，删去工程中的cmac_usplus_0_pkt_gen_mon模块。
2.5K20发布于 2020-07-20 - 来自专栏ETU-LINK
光模块专题：谈谈数据中心100G光模块主流标准
今天易天光通信（ETU-LINK）跟大家谈谈数据中心100G光模块主流标准，传统数据中心主要基于10G网络架构，为了适应AI、深度学习、大数据计算等业务的规模部署，下一代数据中心架构正在向25G／100G 因为建设25G／100G数据中心需要大量100G光模块，而在网络建设成本中占比较高，接下来请看100G光模块主流标准都有哪些？ 100G光模块标准组织 在开始分享光模块标准之前，先了解下光模块的标准化组织。 针对100G，MSA定义的标准包括100G PSM4 MSA、100G CWDM4 MSA和100G Lambda MSA。 100G光模块主流标准 为了满足不同距离的100G互联场景，IEEE 以及MSA定义的100G标准超过十种，但是主流的是下面六种标准。
1.3K20发布于 2019-02-21 - 来自专栏深度学习与python
特斯拉内鬼泄露 100G 数据，影响超 7.5 万人
8 月 21 日消息，根据美国缅因州总检察长办公室在上周五发布的通知，特斯拉公司在今年 5 月份发生的数据泄露事件影响了逾 7.5 万人，其中包括与员工相关的记录，这起事件源自“内部员工的不当行为”。
26020编辑于 2023-09-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号