首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将大数据导入MySQL (MyISAM)

问将大数据导入MySQL (MyISAM)
EN

Server Fault用户
提问于 2011-08-11 01:13:29
回答 2查看 2.5K关注 0票数 1

我在Windows7机器上使用64位版本的MySQL 5.5 .

我正在尝试将一些非常大的地理空间数据文件从geonames.org导入到MySQL中,这样我就可以对它运行查询,并为我的目的生成一组更小的数据。

我使用的存储引擎是MyISAM,输入数据是一个1G的文本文件,每一行都由制表符分隔。我相信文本文件包含大约800万行。

最初,我使用InnoDB引擎将文件导入数据库。有很多警告,可能是由于地理空间数据。进口大约花了6.5分钟,这是相当合理的。

然后,我尝试使用MyISAM存储引擎将数据导入数据库。导入仍然在运行,我已经花了30多分钟等待导入完成。

服务器配置了股票"Developer“设置。我注意到,当我使用MySQL工作台查看服务器状态时,关键效率为100%,而内存使用率约为40% (我在机器中有12 in内存),CPU使用率约为5%。有什么特殊的设置/调整,我应该看看,以加快导入吗?

编辑:所以它刚刚完成导入:有什么方法可以加快速度吗?

代码语言:javascript
复制
Query OK, 7836651 rows affected, 65535 warnings (50 min 20.89 sec)
Records: 7836651  Deleted: 0  Skipped: 0  Warnings: 5630783
EN

回答 2

Server Fault用户

回答已采纳

发布于 2011-08-11 15:00:15

如果您使用的是负载数据信息,您需要确保将散装增加到256百万这样的显著水平。

票数 0
EN

Server Fault用户

发布于 2011-08-11 01:20:08

这听起来像是使用InnoDB的方法。还可以调优相关的MySQL设置,以便在需要的情况下使用更多的内存,并获得更快的磁盘(如果CPU和内存没有固定,那么磁盘几乎肯定是瓶颈)。

票数 0
EN
页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://serverfault.com/questions/299888

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档