我正在尝试使用数据库缓存作为缓存非常大的对象的一种方式,然后我想流式传输这些对象而不是加载到内存中并返回。
为此,我尝试了以下方法:
我使用以下迁移创建了我的数据库缓存:
public function up() {
Schema::create('cache', function (Blueprint $table) {
$table->string('key')->unique();
$table->longText('value');
$table->integer('expiration');
});
DB::statement("ALTER TABLE `cache` MODIFY `value` LONGBLOB");
}
改变的原因是因为 longText
不能很好地处理我需要存储的一般二进制对象。
然后我尝试了以下代码来测试 blob 字段的流:
public function test(Request $request) {
cache()->store("database")
->put("randomStr", str_random(1024), 5); //Test string. Real cases are about 200 MB
return response()->stream(function () {
$fullKey = config("cache.prefix")."randomStr";
$pdo = \DB::getPdo();
$stmt = $pdo->prepare("select `value` from `cache` where `key`=:key");
$stmt->bindParam("key", $fullKey);
if ($stmt->execute()) {
$stmt->bindColumn(1, $lob, \PDO::PARAM_LOB);
$stmt->fetch(\PDO::FETCH_BOUND);
fpassthru($lob);
}
});
}
此代码基于 PHP: Large Objects手册页。
但是我收到以下错误:
fpassthru() expects parameter 1 to be resource, string given
我检查了 $lob
参数,发现它是实际的字符串,而不是我所希望的到 LARGEBLOB 字段的流。
有没有办法让 BLOB 的流在 Laravel 中工作?
注意:显然有 bug #40913自 2007 年开放以解决此问题,现在我提出了一个问题:
是否有任何方法可以使用 PDO
或 mysqli
或 PHP 中的任何其他解决方法将 LARGEBLOB 流式传输到响应?
最佳答案
好吧,我已经找到了的方法来解决这个问题,但它并不漂亮,远不是那么好。
所以这里发生了一些事情。
- 首先,我必须改变我的
cache()->driver(..)->put
方法来直接操作数据库。我这样做是因为遍历数据库有一个序列化步骤,在流出数据时我无法处理这个步骤。此外,最终目的是让插入成为一个流式操作,这样会更容易。 - 我安装了
mysql
命令行客户端 - 我构建了一个命令行界面命令,它将获取我想要的数据,通过正确的身份验证并构建要通过
-e
传递的查询。注意:我本可以通过escapeshellarg
转义 shell 参数做得更好,但对于我来说,我无法让它处理反引号。另请注意-N
参数,该参数用于从结果中删除列标题。 - 我使用了
proc_open
,它允许将输入/输出流传递回 PHP。我用它来将响应流式传输到浏览器。注意:我还定义了其他流,我不是proc_open
专家所以我不知道这是否有必要。
代码如下:
public function test(Request $request) {
$fullKey = config("cache.prefix")."randomStr";
\DB::table("cache")
->updateOrInsert([
"key" => $fullKey,
], [
"value" => str_random(1024),
"expiration" => Carbon::now(new \DateTimeZone("UTC"))->getTimestamp() + 5*60
]);
return response()->stream(function () use ($fullKey) {
$command = "/usr/bin/mysql";
$arguments = [
"-h ".config("database.connections.mysql.host"),
"-P ".config("database.connections.mysql.port"),
"-u ".config("database.connections.mysql.username"),
"-p".config("database.connections.mysql.password"),
"-D ".config("database.connections.mysql.database"),
"-e \"SELECT \\`value\\` FROM \\`cache\\` WHERE \\`key\\`='$fullKey'\"",
"-N"
];
$p = proc_open($command." ".implode(" ",$arguments),[
[ "pipe", "r" ],
[ "pipe", "w" ],
[ "pipe", "w" ]
], $pipes);
fpassthru($pipes[1]);
fclose($pipes[0]);
fclose($pipes[1]);
fclose($pipes[2]);
proc_close($p);
});
}
这似乎可行,但并不完美。我可能会把它包装在某个地方,再也不用看它了,但我愿意听取任何可以做得更好的人的建议。
注意:所有这些只是为了解决一个已经存在 11 年的错误。我希望这实际上可以帮助其他人。
关于php - 通过流访问大对象 (LONGBLOB),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51539880/