php - 使用有限的内存处理来自 mysql 的大型结果集

原文 标签 php mysql performance memory pdo

我有一个大型数据库,其中包含 1500 个人的实验结果。每个人有 96 个数据点。我编写了以下脚本来汇总并格式化数据,以便分析软件可以使用它。起初一切都很好,直到我有超过 500 个人。现在我的内存不足了。

我想知道现在是否有人建议在不牺牲速度的情况下克服内存限制问题。

这是表在数据库中的样子

fishId 测定Id 等位基因1 等位基因2

14_1_1 1 个

14_1_1 2 A A

$mysql = new PDO('mysql:host=localhost; dbname=aquatech_DB', $db_user, $db_pass);
$query = $mysql->prepare("SELECT genotyped.fishid, genotyped.assayid, genotyped.allele1, genotyped.allele2, fishId.sex, " .
"fishId.role FROM `fishId` INNER JOIN genotyped ON genotyped.fishid=fishId.catId WHERE fishId.projectid=:project");
$query->bindParam(':project', $project, PDO::PARAM_INT);
$query->execute();  

所以这是对数据库的调用。它正在连接来自两个表的信息来构建我需要的文件。
 if(!$query){
    $error = $query->errorInfo();
    print_r($error);
} else { 
    $data = array();
    $rows = array();
    if($results = $query->fetchAll()){
        foreach($results as $row)
        {
            $rows[] = $row[0];
            $role[$row[0]] = $row[5];
            $data[$row[0]][$row[1]]['alelleY'] = $row[2];
            $data[$row[0]][$row[1]]['alelleX'] = $row[3];
        }
        $rows = array_unique($rows);
        foreach($rows as $ids)
        {
            $col2 = $role[$ids];
            $alelleX = $alelleY = $content = "";
            foreach($snp as $loci)
            {
                $alelleY = convertAllele($data[$ids][$loci]['alelleY']);
                $alelleX = convertAllele($data[$ids][$loci]['alelleX']);
                $content .= "$alelleY\t$alelleX\t";
            }
            $body .= "$ids\t$col2\t" . substr($content, 0, -1) . "\n";

这会解析数据。在我需要的文件中,我必须每个人有一行,而不是每个人 96 行,这就是必须格式化数据的原因。在脚本的最后,我只是将 $body 写入文件。

我需要输出文件是

FishId 检测 1 检测 2

14_1_1 A T A A
$location = "results/" . "$filename" . "_result.txt";
$fh = fopen("$location", 'w') or die ("Could not create destination file");
if(fwrite($fh, $body))

最佳答案

不要使用 fetchAll() 将数据库查询的整个结果读取到变量中,而是逐行获取它:

while($row = $query->fetch()) { ... }

关于php - 使用有限的内存处理来自 mysql 的大型结果集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23805071/

相关文章:

php - 使用 XMLHttpRequest 上传文件

mysql - mysql(innodb)递增值以创建孔

php - Yii2 : How to write distinct SQL query?

java - 需要特定数量的阵列元素的最佳组合,而浪费最少

mysql - 使用 FirstOrDefault 与 ToArray 进行 LINQ 查询

java - 我可以尝试哪些可以执行 url 并以字符串形式获得响应的各种 HttpClient 风格?

php - 数组未转发数据

php - PHP pthreads计数事件线程吗?

php - PHP无法读取文件

php - 使用 MySQL 的 PHP 中的 Guid/Uuid