mysql导入海量数据方案,该如何处理

mysql导入海量数据方案,该如何处理

mysql导入海量数据方案

用python编写数据处理程序,处理之后的海量数据保存成临时文件,然后保存至基于mysql的infobright数据库;

有以下问题请教:

1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。

2.如果用mysql的load infile…,性能怎样?不知load infile内部实现是怎样的?是读取文件,一条一条插入数据库吗?



引用1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。




1 海量数据用分布式处理 或者不用关系数据库

2 loaddata相当于一条一条insert

mysql导入海量数据方案,该如何处理

相关文章:

你感兴趣的文章:

标签云: