java - 加载 XML 非常慢

标签 java xml file-io xml-deserialization

我继承了一个数据存储,它使用简单的文本文件来保存文档。

文档具有一些属性(日期、标题和文本),这些属性被编码在文件名中:-<title>.txt,文件正文是文本。

然而实际上系统中的文档有更多的属性,并且再次建议添加更多属性。

切换到 XML 格式似乎是合乎逻辑的,我已经这样做了,现在每个文档都编码在它自己的 XML 文件中。

但是,从 XML 读取文件现在速度慢得离谱! (以前 2000 篇 .txt 格式的文章需要几秒钟,现在 2000 篇 .xml 格式的文章需要 10 多分钟)。

我之前使用 DOM 解析器,在发现读取速度有多慢后,我切换到 SAX 解析器,但它仍然一样慢(嗯,更快,但仍然需要 10 分钟)。

XML 就是这么慢吗,还是我做了一些奇怪的事情?任何想法将不胜感激。

该系统是用JavaSE 1.6编写的。 解析器是这样创建的:


/*
import javax.xml.parsers.ParserConfigurationException;
import javax.xml.parsers.SAXParser;
import javax.xml.parsers.SAXParserFactory;
*/
  SAXParserFactory factory = SAXParserFactory.newInstance();
  SAXParser saxParser;
  try {
    saxParser = factory.newSAXParser();
    ArticleSaxHandler handler = new ArticleSaxHandler();
    saxParser.parse(is, handler);
    return handler.getArticle();
  } catch (ParserConfigurationException e) {
    throw new IOException(e);
  } catch (SAXException e) {
    throw new IOException(e);
  } finally { 
    if (is != null) {
      try {
        is.close();
      } catch (IOException e) {
        logger.error(e);
      }
    }
  }
}

private class ArticleSaxHandler extends DefaultHandler {
        private URI uri = null;
        private String source = null;
        private String author = null;
        private DateTime articleDatetime = null;
        private DateTime processedDatetime = null;
        private String title = null;
        private String text = null;
        private ArticleElement currentElement;
        private final StringBuilder builder = new StringBuilder();

        public Article getArticle() {
            return new Article(uri, source, author, articleDatetime, processedDatetime, title, text);
        }

        /** Receive notification of the start of an element. */
        public void startElement(String uri, String localName, String qName, Attributes attributes) {
            if (builder.length() != 0) {
                throw new RuntimeException(new SAXParseException(currentElement + " was not finished before " + qName + " was started", null));
            }
            currentElement = ArticleElement.getElement(qName);
        }

        public void endElement(String uri, String localName, String qName) {
            final String elementText = builder.toString();
            builder.delete(0, builder.length());
            if (currentElement == null) {
                return;
            }
            switch (currentElement) {
                case ARTICLE:
                    break;
                case URI:
                    try {
                        this.uri = new URI(elementText);
                    } catch (URISyntaxException e) {
                        throw new RuntimeException(e);
                    }
                    break;
                case SOURCE:
                    source = elementText;
                    break;
                case AUTHOR:
                    author = elementText;
                    break;
                case ARTICLE_DATE_TIME:
                    articleDatetime = getDateTimeFormatter().parseDateTime(elementText);
                    break;
                case PROCESSED_DATE_TIME:
                    processedDatetime = getDateTimeFormatter().parseDateTime(elementText);
                    break;
                case TITLE:
                    title = elementText;
                    break;
                case TEXT:
                    this.text = elementText;
                    break;
                default:
                    throw new IllegalStateException("Unexpected ArticleElement: " + currentElement);
            }
            currentElement = null;
        }

        /** Receive notification of character data inside an element. */
        public void characters(char[] ch, int start, int length) {
            builder.append(ch, start, length);
        }

        public void error(SAXParseException e) {
            fatalError(e);
        }

        public void fatalError(SAXParseException e) {
            logger.error("currentElement: " + currentElement + " ||builder: " + builder.toString() + "\n\n" + e.getMessage(), e);
        }
    }

    private enum ArticleElement {
        ARTICLE(ARTICLE_ELEMENT_NAME), URI(URI_ELEMENT_NAME), SOURCE(SOURCE_ELEMENT_NAME), AUTHOR(AUTHOR_ELEMENT_NAME), ARTICLE_DATE_TIME(
                ARTICLE_DATETIME_ELEMENT_NAME), PROCESSED_DATE_TIME(PROCESSED_DATETIME_ELEMENT_NAME), TITLE(TITLE_ELEMENT_NAME), TEXT(TEXT_ELEMENT_NAME);
        private String name;

        private ArticleElement(String name) {
            this.name = name;
        }

        public static ArticleElement getElement(String qName) {
            for (ArticleElement element : ArticleElement.values()) {
                if (element.name.equals(qName)) {
                    return element;
                }
            }
            return null;
        }
    }

最佳答案

从无缓冲的流中读取数据可以解释这些性能问题。这与从文本到 XML 的更改没有直接关系,但也许您的新实现碰巧不再使用 BufferedInputStream


按照该路径,详细检查此 is 是否已缓冲:

saxParser.parse(is, handler);

关于java - 加载 XML 非常慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3521064/

相关文章:

java - 从字符串中提取子字符串

java - 在 MapReduce 中调用具有不同 InputFormatClass 的多个 Mapper

c# - XXE:使用 XDocument 对 XML 外部实体引用的不当限制

c# - 将没有根元素名称的具有多种类型的列表序列化为 XML

java - 将不同类型的数据从文本文件传输到对象数组

Java Jenkins.war 错误

python - 在 Python 中将 & 转换为 &

c++ - 使用 GetFileSize 获取文件大小报告有效文件的 segv

node.js - 从 Node.js 写入文件以避免瓶颈的正确方法是什么?

java - 在 Mac OS 10.12.2 中加载 gnu.io.RXTXCommDriver 时,java.library.path 中没有抛出 rxtxSerial