我有这个下载 XML 文件的小 Perl 脚本,使用 XML::Smart
解析它, 并通过删除和重新创建表将内容复制到 MySQL 数据库中。
这个脚本以前在Centos 5上可以正常运行,但是最近磁盘崩溃了,新驱动器上有Centos 6。
XML 文件大小为 21.5MB。
我知道它在解析文件时卡住了,因为数据库表从未被删除或创建。
my $XML = XML::Smart->new($location.'CategoriesList.xml')
or die("Unable to parse CategoriesList.xml: $!");;
$XML = $XML->cut_root();
$XML = $XML->cut_root();
$dbh->do("DROP TABLE IF EXISTS ice_categories");
$dbh->do("CREATE TABLE ice_categories (
category_id int(11) not null,
parent_cat_id int(11) not null,
category_name varchar(100) not null default '',
category_description varchar(100) not null default '',
category_image varchar(100) not null default '',
category_thumb varchar(100) not null default '',
KEY (category_id), KEY (parent_cat_id))
CHARACTER SET utf8 COLLATE utf8_unicode_ci;");
my @Categories = @{$XML->{CategoriesList}{Category}};
my $c_categories = 0;
foreach my $category (@Categories) {
my $cat_name = ucwords($category->{Name}('langid','eq','1')->{Value});
#print $category->{ID} . " => " . $cat_name . "\n";
my $cat_desc = $category->{Description}('langid','eq','1')->{Value};
my $cat_parent = $category->{ParentCategory}{ID};
$dbh->do("INSERT ice_categories XXXX ");
$c_categories++;
}
print "$c_categories categories imported.\n";
}
我不太擅长 Perl,所以任何帮助将不胜感激。我看过XML::Twig
, 但我不确定如何在这里使用它。
xml 文件示例。
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE ICECAT-interface SYSTEM "http://data.icecat.biz/dtd/ICECAT-
interface_response.dtd">
<ICECAT-interface>
<Response Date="Sat Apr 26 14:46:53 2014" ID="13219513" Request_ID="1398516412"
Status="1">
<CategoriesList>
<Category ID="127" LowPic="http://images.icecat.biz/img/low_pic/127-563.jpg"
Score="9725" Searchable="0" ThumbPic="http://images.icecat.biz/thumbs/CAT127.jpg"
UNCATID="43171520" Visible="0">
<Description ID="548838" Value="Device or stand where you can rest your mobile or
fixed telephone." langid="1"/>
<Description ID="8310" Value="" langid="2"/>
<Keywords ID="3274" Value="" langid="1"/>
<Keywords ID="3275" Value="" langid="2"/>
<Keywords ID="3276" Value="" langid="3"/>
<Keywords ID="3277" Value="" langid="4"/>
<Keywords ID="3278" Value="" langid="5"/>
<Name ID="255" Value="telephone rests" langid="1"/>
<Name ID="471173" Value="telefoon steunen" langid="2"/>
<Name ID="343915" Value="autres téléphones" langid="3"/>
最佳答案
XML::Twig
的一个很好的特性是它支持 twig_handers
来“处理”XML,并且它有 purge
方法,所以你可以把它扔掉以减少内存占用。
我对 XML::Smart
不够熟悉,无法肯定地说 100%,但看起来您只是在处理 Category
元素。
这应该可以工作,但是对于部分 XML 示例(因此无效)我不能完全肯定。
use strict;
use warnings;
use XML::Twig;
sub process_category {
my ( $twig, $category ) = @_;
my $cat_name = $category->get_xpath('./Name[@mode="source"]', 0)->text;
my $cat_name = $category->get_xpath('./Name[@lang="1"]', 0)->text;
my $cat_desc = $category->get_xpath('./Description[@lang="1"]', 0)->text;
### do something with cat_name and cat_desc
my $cat_parent = $category -> first_child('ParentCategory') -> first_child_text('ID');
$twig -> purge; #discard data thus far.
}
my $twig =
XML::Twig->new( twig_handlers => { 'Category' => \&process_category } );
$twig->parsefile('your_xml.xml');
恐怕我不知道'ParentCategory'来自哪里,所以我没有解释它。我假设它只是您未显示的 XML 中的一个元素,但它比 purge
更复杂,可能没有那么有用。
关于mysql - Perl XML::Smart 内存不足!错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23323165/