我正在创建一个网站,这将进行大量的搜索,我需要记录有关每个搜索的数据,这是为以后的分析。
我预计最终会在多个服务器之间分配负载,然后每个月我将下载所有日志并将其导入到我端的单个mysql数据库中进行分析。
目前,我一直在考虑将每台服务器设置为mysql“主服务器”,它将实时更新从分析服务器,并且本质上也充当备份。
然而,我的目标是提高效率。显然,mysql复制的好处是我总是有集中可用的日志,而不必每月在每台服务器上导入和重置日志文件。
登录一个纯文本文件,然后每月转储这个日志文件,然后集中导入到mysql中,效率会有多高?明文转储是否比mysql更有效/更快?
谢谢你的想法!
发布于 2010-11-12 23:25:54
数据库在执行插入之外的功能方面非常强大。它们在锁定机制、事务管理、快速搜索、连接池等方面都很强大。
另一方面,如果您通常需要做的只是将一块数据写入磁盘,那么数据库将是一个巨大的开销。
考虑到上面的情况,而且你只想写整个月的东西,我建议你使用日志,每月一次-获取日志,将它们合并在一起,并对它们进行分析。然后,您可以决定是否要将它们全部合并到一个数据库中(如果这有意义并为您提供了一些附加值),或者您只是想将文本合并在一起。
顺便说一句,您可能希望将INSERT语句保存到此日志中,然后将其用作脚本将所有内容加载到数据库中。考虑一下:-)
https://stackoverflow.com/questions/4165955
复制相似问题