我的问题与如何做某事无关，更多的是如何帮助提高性能。对于这么长的帖子，我深表歉意，但我认为，由于这与性能有关，因此我应该发布有关我正在做的事情的所有详细信息，看看是否有人可以提供帮助。
我必须编写一个程序，从两个不同的数据库获取信息，创建元数据及其相应的 BLOB(pdf 文件)并对其进行压缩。
仅当在数据库中找到 BLOB 对象时才会创建元数据文件。我已经设法做到了这一点，但问题是有时我的查询可能有多达 80k 个结果，并且可能需要长达 20 小时才能完成，考虑到每个 blob 对象不大于 100 KB，这是荒谬的。
我有一个事务数据库(我们称之为 TEQ8P)，其中存储了所有 ID 和元数据信息。我按日期和状态查询数据(这很糟糕，但我没有任何其他过滤器，这是要求)
TEQ8P.openConnection();
Boolean flag = TEQ8P.ExecuteQuery("select tr.legaltransnumber, cc.country_code, tr.transnumber, tr.postingdate, tr.transdate from EQUATE.transheader tr inner join companycode_country cc on tr.tocompanycode = cc.company_code where tr.transtype = 'IC' and tr.transdate between to_date(" + date + ", 'DD/MM/YYYY') and to_date(" + nextday + ", 'DD/MM /YYYY')");
public Boolean ExecuteQuery(String query) {
Statement stmt;
ResultSet rs = null;
try {
stmt = connection.createStatement();
rs = stmt.executeQuery(query);
if(!rs.isBeforeFirst())
return false;
rowset = new CachedRowSetImpl();
rowset.populate(rs);
metadata = rs.getMetaData();
rs.close();
stmt.close();
return true;
} catch (SQLException e) {
HLog.error(e.getMessage());
e.printStackTrace();
return false;
//System.out.println(query);
}
finally
{
closeConnection();
}
}
我使用的是JAVA 1.5(再次按照要求)，所以我从oracle下载了cachedrowsetimp jar，所以一旦我完成查询数据，我将其保存到内存并关闭连接。
之后，我开始遍历缓存行集并查询仓库数据库上的每个 ID。我无法选择“where in”，因为无法判断是否会找到所有 id，并且“in”只会返回它找到的项目，而且我不知道它没有找到哪些项目寻找。但如果您有任何建议，请!
所以我使用preparedStatement在ORACLE上使用绑定(bind)变量并开始写入blob对象。
我的第一个问题，有没有更好的方法来编写 blob 文件？更快的方法？
if(flag)
{
String Query = "select wh.transnumber, wh.image from EQUATEWH.legalimage wh where wh.transnumber = ?";
WEQ8I.openConnection();
WEQ8I.setPreparedStmt(Query);
WEQ8I.WriteBlobs(PDF, TEQ8P.getRowsSet(), IC_FILE);
WEQ8I.closePrepStmt();
WEQ8I.closeConnection();
FileUtils.createZip(prop.getProperty("ZIPDIR_IC"), lsize, prop.getProperty("ZIPNAME_IC"));
public void WriteBlobs(String path, CachedRowSetImpl set, IMP_File IC_FILE)
{
ResultSet rs = null;
try
{
while(set.next())
{
pstmt.setString(1, set.getString(3));
rs = pstmt.executeQuery();
if(!rs.isBeforeFirst())
{
System.out.println("invoice " + set.getString(3) + "was not found on W database");
ErrorFile.writeErrorFile(set.getString(3));
}
else
{
//getting the name of the PDF file, if no ID use legaltransnumber
String ID = set.getString(1);
if(ID == null)
{
ID = set.getString(3);
}
while(rs.next())
{
FileOutputStream fos = null;
try
{
Blob blob = rs.getBlob(2);
InputStream is = blob.getBinaryStream();
fos = new FileOutputStream(path + ID + ".pdf");
int i = 0;
while ((i = is.read()) != -1)
{
fos.write(i);
}
fos.close();
is.close();
IC_FILE.fillIMPFile("IC", ID, set.getString(3), set.getString(2), set.getString(5));
}catch (Exception e)
{
e.printStackTrace();
ErrorFile.writeErrorFile(set.getString(3));
}
}
}
rs.close();
}
IC_FILE.writeFile();
} catch (SQLException e)
{
System.out.println("Problem when trying to create Record: " + path);
HLog.error(e.getMessage());
e.printStackTrace();
try
{
ErrorFile.writeErrorFile(set.getString(3));
}catch (Exception ex)
{
ex.printStackTrace();
HLog.error(e.getMessage());
}
}
}
如果查询在 WarehouseDB 上找到该 ID 的结果，并且图像不为空(意味着它不会出现空异常)，我将创建元数据文件，即 IC_FILE。 IC_FILE 不写入文件，它将所有内容保存到内存中，完成后写入文件，我认为这可以帮助提高性能，因为它不必使用 IC_FILE 对每个文件执行一次 I/O 操作.writefile()。
要创建元数据文件，我还必须(再次根据要求)从文件中获取容器名称。要检索容器名称，我必须使用事务数据库中的 3 个字段，将它们连接起来并在该文件中搜索它们。 这就是我创建 IMP 文件的方式，首先从每条记录中获取数据:
public void fillIMPFile(String type, String ID, String ID2, String companyCode, String date)
{
date = date.substring(0, 10);
date = date.replace("-", "/");
date = date.substring(5, 7) + "/" + date.substring(8, 10) + "/" + date.substring(0, 4);
String Name = prop.getProperty("NAME");
String info = prop.getProperty(type);
String DOS = Name + info + ID + ".";
String NOTES = Name + " " + info + " ";
info += getContainer(companyCode, date, type);
if(type.equals("IC"))
{
String desc = prop.getProperty("DESC_PDF");
DOS += "pdf";
NOTES += desc + " " + ID + " " + ID2;
buffer += info + "\t" + date + "\t" + date + "\t" + DOS + "\t" + NOTES + "\t"
+ NOTES + "\t" + ID2;
}
为了获取容器，我使用了属性对象，但我想可能还有更好的选择？也许是 HashMap ？
public String getContainer(String companyCode, String Date, String type)
{
Calendar cal = Calendar.getInstance();
SimpleDateFormat sdf = new SimpleDateFormat("yyyy");
Date = sdf.format(cal.getTime());
//mal siempre pondra 2012
String data = type + companyCode + Date;
String container = containers.getProperty(data);
if(container == null)
{
data = type + "WW" + Date;
container = containers.getProperty(data);
}
return container;
}
最终写入文件:
public void writeFile()
{
try
{
FileWriter fw = new FileWriter(File, true);
BufferedWriter bw = new BufferedWriter(fw);
bw.write(buffer);
bw.close();
}catch (IOException e)
{
e.printStackTrace();
HLog.error(e.getMessage());
}
}
谢谢!! 丹尼尔
最佳答案
已修复...使用绑定(bind)变量并每年创建超过 1 个容器文件
关于java - 在 JAVA 中使用 BLOB 获得更好的性能，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11159530/