PHP 拆分 fwrite 以节省内存

标签 php mysql fopen fwrite

我目前正在使用 http://davidwalsh.name/backup-mysql-database-php 中的脚本 做一个“热复制”,比如备份 myisam sql 数据库,但我遇到的问题是我遇到内存不足的 fatal error 。

我正在使用巨大的数据库,因此它将整个数据库写入一个字符串,然后立即将整个字符串输出到 fwrite 中,我相信这就是问题所在。那么是否可以将写入操作分成多个 block ,这样我就不会遇到内存不足的 fatal error ?如果是这样,您将如何实现这一目标?

这是我的尝试:

ini_set('memory_limit','3000M');
//create the file to be written into
$return = '';
$f = 'db-backup-'.$name.'_'.time().'.sql'; 
$handle = fopen($f,'w+');
fwrite($handle,$return);
fclose($handle);

//...mysql connect goes here then...
//cycle through
foreach($tables as $table)
{
  $result = mysql_query('SELECT * FROM '.$table);
  $num_fields = mysql_num_fields($result);

  $return.= 'DROP TABLE '.$table.';';
  $row2 = mysql_fetch_row(mysql_query('SHOW CREATE TABLE '.$table));
  $return.= "\n\n".$row2[1].";\n\n";

  for ($i = 0; $i < $num_fields; $i++) 
  {
    while($row = mysql_fetch_row($result))
    {
      $return.= 'INSERT INTO '.$table.' VALUES(';
      for($j=0; $j<$num_fields; $j++) 
      {
        $row[$j] = addslashes($row[$j]);
        $row[$j] = ereg_replace("\n","\\n",$row[$j]);
        if (isset($row[$j])) { $return.= '"'.$row[$j].'"' ; } else { $return.= '""'; }
        if ($j<($num_fields-1)) { $return.= ','; }
    }
    $return.= ");\n";
  }
}
$return.="\n\n\n";

//Write each table into file
fopen($f,'w+');
fwrite($handle,$return);
fclose($handle);
$return ='';  //clear return thus clearing memory?
}

我知道有更好的方法来备份数据库,这只是暂时的,直到我让 LVM 正常工作。

谢谢

TL;DR fwrite 给出内存不足错误,如果拆分写入将避免该问题?

ps。 mysqldump 锁定数据库,因此我无法使用转储,并且由于我们使用临时表而复制被破坏,而临时表是必须的。

最佳答案

改变这个

$result = mysql_query('SELECT * FROM '.$table);

$result = mysql_query('SELECT * FROM LIMIT 5000'.$table); //this will only get the first 5000.

获取并保存后,您可以使用以下方式获取其余内容

$result = mysql_query('SELECT * FROM OFFSET 5000'.$table);  //you can use limit over here too...

关于PHP 拆分 fwrite 以节省内存,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12046153/

相关文章:

php - 取消设置多个数组元素的更好方法

php - 如何在没有 PHP 的情况下从 2 个 MySQL 表构建一个新的 MySQL 表

php - ajax 表单提交,如果成功则提交第二个表单

python - Django 1.8.2(使用Python 3.4): How is a CharField with choices stored in a MySQL table with an ENUM column?

mysql - MariaDB - 在两个实体之间创建多对多关系表

c - 为什么 'fopen' 返回 NULL 指针?

PHP 与 MySQL 查询的问题。该函数仅针对第一个 mysql 结果运行

c - 如何从另一个文本文件读取的字符串之间删除换行符

C 不读取整个 BMP 文件 - fopen

php - MySQL 日期时间字段和夏令时——如何引用 "extra"小时?