我需要使用 cx_oracle 将一个大表从 oracle 数据库下载到 python 服务器中。但是,python 服务器上的内存受到限制,因此我需要以批处理方式执行此操作。
我已经知道如何制作整个表格
usr = ''
pwd = ''
tns = '(Description = ...'
orcl = cx_Oracle.connect(user, pwd, tns)
curs = orcl.cursor()
printHeader=True
tabletoget = 'BIGTABLE'
sql = "SELECT * FROM " + "SCHEMA." + tabletoget
curs.execute(sql)
data = pd.read_sql(sql, orcl)
data.to_csv(tabletoget + '.csv'
我不知道该怎么做,例如一次加载一批 10000 行,然后将其保存到 csv,然后重新加入。
最佳答案
您可以直接使用cx_Oracle来执行此类批处理:
curs.arraysize = 10000
curs.execute(sql)
while True:
rows = cursor.fetchmany()
if rows:
write_to_csv(rows)
if len(rows) < curs.arraysize:
break
如果您使用的是 Oracle Database 12c 或更高版本,您还可以使用 OFFSET 和 FETCH NEXT ROWS 选项,如下所示:
offset = 0
numRowsInBatch = 10000
while True:
curs.execute("select * from tabletoget offset :offset fetch next :nrows only",
offset=offset, nrows=numRowsInBatch)
rows = curs.fetchall()
if rows:
write_to_csv(rows)
if len(rows) < numRowsInBatch:
break
offset += len(rows)
此选项不如第一个选项有效,并且需要为数据库提供更多工作要做,但根据您的情况,它可能更适合您。
这些示例都没有直接使用 pandas。我对那个包不是特别熟悉,但是如果您(或其他人)可以适本地调整它,希望这会有所帮助!
关于python - 使用cx_oracle批量下载表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57315171/