文章/答案/技术大牛

发布

社区首页 >问答首页 >在同一主机系统(java.lang.OutOfMemoryError)上将表从源数据库复制到目标数据库

问在同一主机系统(java.lang.OutOfMemoryError)上将表从源数据库复制到目标数据库
EN

Stack Overflow用户

提问于 2018-05-07 19:49:21

回答 3查看 393关注 0票数 2

我需要查询一个数据库，并将结果集复制到另一个数据库中，该数据库具有相同的数据库结构，并且也位于同一个主机系统上。

如果查询结果非常小，下面的JAVA-函数工作得很好(快速且没有错误)：

public void copyTableData(Connection dbConnOnSrcDB, Connection dbConnOnDestDB,
                          String sqlQueryOnSrcDB, String tableNameOnDestDB) 
  throws SQLException {

    try (

        PreparedStatement prepSqlStatmOnSrcDB = dbConnOnSrcDB.prepareStatement(sqlQueryOnSrcDB);

        ResultSet sqlResultsFromSrcDB = prepSqlStatmOnSrcDB.executeQuery()
    ) {
        ResultSetMetaData sqlMetaResults = sqlResultsFromSrcDB.getMetaData();

        // Stores the query results
        List<String> columnsOfQuery = new ArrayList<>();

        // Store query results
        for (int i = 1; i <= sqlMetaResults.getColumnCount(); i++)
            columnsOfQuery.add(sqlMetaResults.getColumnName(i));

        try (
            PreparedStatement prepSqlStatmOnDestDB = dbConnOnDestDB.prepareStatement(
                "INSERT INTO " + tableNameOnDestDB +
                     " (" + columnsOfQuery.stream().collect(Collectors.joining(", ")) + ") " +
                        "VALUES (" + columnsOfQuery.stream().map(c -> "?").collect(Collectors.joining(", ")) + ")")
        ) {

            while (sqlResultsFromSrcDB.next()) {
                for (int i = 1; i <= sqlMetaResults.getColumnCount(); i++)
                    prepSqlStatmOnDestDB.setObject(i, sqlResultsFromSrcDB.getObject(i));

                prepSqlStatmOnDestDB.addBatch();
            }
            prepSqlStatmOnDestDB.executeBatch();
        }
    }
}

但是我有很大的数据库查询和结果集，在几百兆字节的范围内。

问题A: --当第二行代码被处理时，我发现下面的OutOfMemoryError正在上升：

ResultSet sqlResultsFromSrcDB = prepSqlStatmOnSrcDB.executeQuery()

JAVA-Exeption：

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.lang.Class.getDeclaredFields0(Native Method)
at java.lang.Class.privateGetDeclaredFields(Class.java:2583)
at java.lang.Class.getDeclaredField(Class.java:2068)
at java.util.concurrent.atomic.AtomicReferenceFieldUpdater$AtomicReferenceFieldUpdaterImpl$1.run(AtomicReferenceFieldUpdater.java:323)
at java.util.concurrent.atomic.AtomicReferenceFieldUpdater$AtomicReferenceFieldUpdaterImpl$1.run(AtomicReferenceFieldUpdater.java:321)
at java.security.AccessController.doPrivileged(Native Method)
at java.util.concurrent.atomic.AtomicReferenceFieldUpdater$AtomicReferenceFieldUpdaterImpl.<init>(AtomicReferenceFieldUpdater.java:320)
at java.util.concurrent.atomic.AtomicReferenceFieldUpdater.newUpdater(AtomicReferenceFieldUpdater.java:110)
at java.sql.SQLException.<clinit>(SQLException.java:372)
at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2156)
at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:300)
at org.postgresql.jdbc.PgStatement.executeInternal(PgStatement.java:428)
at org.postgresql.jdbc.PgStatement.execute(PgStatement.java:354)
at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(PgPreparedStatement.java:169)
at org.postgresql.jdbc.PgPreparedStatement.executeQuery(PgPreparedStatement.java:117)
at Application.copyTableData(Application.java:159)
at Application.main(Application.java:585)

问题B:复制作业需要很长时间。有办法加快复制过程吗？

DB查询如下：

String[] tables = new String[]{
                    "table1",
                    "table1_properties",
                    "table1_addresses",
                    "table2",
                    "table3",
                    "table4",
                    "table5",
                    "table6",
                    "table7",
                    "table8",
                    "table9",
                    "table10"
            };

函数调用：

for( String table : tables ){

  getDataFromSrcDB = "SELECT " + table + ".* " +
    "FROM table1 " +
        "FULL JOIN table1_properties " +
            "ON table1_properties.d_id=table1.d_id " +
        "FULL JOIN table1_addresses " +
            "ON table1_addresses.d_id=table1_properties.d_id " +
        "FULL JOIN table2 " +
            "ON table2.p_id=table1_properties.p_id " +
        "FULL JOIN table3 " +
            "ON table3.d_id=table1.d_id " +
        "FULL JOIN table4 " +
            "ON table4.d_id=table1.d_id " +
        "FULL JOIN table5 " +
            "ON table5.d_id=table1.d_id " +
        "FULL JOIN table6 " +
            "ON table6.d_id=table1.d_id " +
        "FULL JOIN table7 " +
            "ON table7.d_id=table1.d_id " +
        "FULL JOIN table8 " +
            "ON table8.id=table4.id " +
        "FULL JOIN table9 " +
            "ON table9.d_id=table1.d_id " +
        "FULL JOIN table10 " +
            "ON table10.a_id=table1_addresses.a_id " +
        "WHERE ST_Intersects(ST_MakeEnvelope(" +
               minLong + "," +
               minLat + "," +
               maxLong + "," +
               maxLat + ",4326), geom :: GEOMETRY) OR " +
        "ST_Intersects(ST_MakeEnvelope(" +
               minLong + "," +
               minLat + "," +
               maxLong + "," +
               maxLat + ",4326), CAST(table3.location AS GEOMETRY))";

   copyTableData(dbConnOnSrcDB, dbConnOnDestDB, getDataFromSrcDB, table);
}

jdbc

java

postgresql

回答 3

Stack Overflow用户

发布于 2018-05-07 20:02:59

当批处理的大小很大时，您将得到以下错误：

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

我有办法了。

第一解

相反，您可以将批处理划分为小批(例如，每个1_000持久化数据)，您还需要一些配置，如马克·罗特韦尔在注释中提到的，以及文档提到的基于游标获取结果：

默认情况下，驱动程序一次收集查询的所有结果。，这对于大数据集可能不方便，因此JDBC驱动程序提供了一种将ResultSet建立在数据库游标上的方法，并且只获取少量行。

所以你应该做的是：

到服务器的连接必须使用V3协议.
连接不能处于自动提交模式.
给定的查询必须是单个语句
语句的获取大小需要到适当大小的
..read文档中的详细信息

在这种情况下，代码可以如下所示：

//Note here you set auto commit for the source connection
dbConnOnSrcDB.setAutoCommit(false);

final int batchSize = 1000;
final int fetchSize = 50;
int count = 0;
...
//Set the appropriate size for the FetchSize
sqlResultsFromSrcDB.setFetchSize(fetchSize);
while (sqlResultsFromSrcDB.next()) {
    for (int i = 1; i <= sqlMetaResults.getColumnCount(); i++) {
        prepSqlStatmOnDestDB.setObject(i, sqlResultsFromSrcDB.getObject(i));
    }
    prepSqlStatmOnDestDB.addBatch();
    if (++count % batchSize == 0) {
        prepSqlStatmOnDestDB.executeBatch();
    }
}
prepSqlStatmOnDestDB.executeBatch(); // insert remaining records

第二解

由于您使用的是PostgreSQL，所以我希望使用dblink在数据库之间将数据传输到另一个数据库。

一些有用的链接：

https://viralpatel.net/blogs/batch-insert-in-java-jdbc/
如何在PostgreSQL中使用(安装) dblink？
http://www.postgresonline.com/journal/archives/44-Using-DbLink-to-access-other-PostgreSQL-Databases-and-Servers.html

票数 4

Stack Overflow用户

发布于 2018-05-07 20:01:44

你有很多方法来达到这个目标。以下是你可以申请的几个选项-

从第一个数据库读取数据，并将其写入csv文件，然后从csv文件块中再次读取数据，然后写入另一个数据库。(易于实现，但编码更多) https://gauravmutreja.wordpress.com/2011/10/13/exporting-your-database-to-csv-file-in-java/。
如果在数据传输到另一个数据库之前没有太多的数据操作，则可以编写一个简单的DB函数来从一个数据库读取数据，然后将数据写入另一个数据库。
或者你可以试着用弹簧批来做这个。

票数 0

Stack Overflow用户

发布于 2021-03-28 07:49:10

当您直接获取数据时，它将填充ram，直到所有数据获取为止。因此，您可以很容易地看到OutOfMemoryError错误。

如果您使用stream获取数据，您可以捕获无限的数据，因为stream取取，以及处理和与新数据的连接，为已处理的数据(如与fetchSize分开的)清除内存。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/50221429

复制

相似问题

问在同一主机系统(java.lang.OutOfMemoryError)上将表从源数据库复制到目标数据库
EN

回答 3

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在同一主机系统(java.lang.OutOfMemoryError)上将表从源数据库复制到目标数据库EN

回答 3

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在同一主机系统(java.lang.OutOfMemoryError)上将表从源数据库复制到目标数据库
EN