r - 在 R 中使用 Azure 计算机视觉创建循环/分析多个图像的方法

Question

我目前正在使用 Microsoft Azure 计算机视觉对超过 10k 图像进行分析，并在 R 编程软件中进行操作。我想查看这 10k 图像中存在哪些标签，然后将最频繁的标签计数到最不频繁的标签。所有这些图像目前都在我的计算机上。此内容不用于商业目的，仅供本人研究使用。

问题是，我是 R 新手，主要使用 ggplot 进行数据可视化。

目前，我一次只能运行 1 个图像的分析，这是使用以下脚本进行的:

library(AzureRMR) 
library(AzureCognitive)

# Create Computer Vision endpoint
endp <- cognitive_endpoint(
  url = "https://xxxx.cognitiveservices.azure.com/",
  service_type = "ComputerVision",
  key = "xxxx")
  
# Add image
img_raw <- readBin("C:/Users/xxxx/Documents/Sample/trial.jpg", "raw", file.info("C:/Users/xxxx/Documents/Sample/trial.jpg")$size)

# Call the computer vision endpoint
data <- call_cognitive_endpoint(
  endpoint = endp,
  operation = "analyze",
  body = img_raw,
  encode="raw",
  options = list(visualFeatures = "tags"),
  http_verb = "POST")

print(data)

datatable <- data.frame(x, stringsAsFactors = TRUE)

结果如下:

打印(数据)显示:

$tags
$tags[[1]]
$tags[[1]]$name
[1] "person"

$tags[[1]]$confidence
[1] 0.998097


$tags[[2]]
$tags[[2]]$name
[1] "indoor"

$tags[[2]]$confidence
[1] 0.9948725


$tags[[3]]
$tags[[3]]$name
[1] "toddler"

$tags[[3]]$confidence
[1] 0.9893367


$tags[[4]]
$tags[[4]]$name
[1] "human face"

$tags[[4]]$confidence
[1] 0.9281158


$tags[[5]]
$tags[[5]]$name
[1] "child"

$tags[[5]]$confidence
[1] 0.877107


$tags[[6]]
$tags[[6]]$name
[1] "boy"

$tags[[6]]$confidence
[1] 0.8087585


$tags[[7]]
$tags[[7]]$name
[1] "baby"

$tags[[7]]$confidence
[1] 0.7611696


$tags[[8]]
$tags[[8]]$name
[1] "clothing"

$tags[[8]]$confidence
[1] 0.7346113



$requestId
[1] "0deda3ab-a02c-4d81-9de7-78326eb5f593"

$metadata
$metadata$height
[1] 640

$metadata$width
[1] 640

$metadata$format
[1] "Jpeg"

数据表数据框如下所示:

datatable

我希望能够为一个文件夹(即“Sample”文件夹)中的每一个 10k 图像运行此代码，并且我希望能够将结果放入数据帧表中，并将每个图像的结果放入一个排。我想知道是否有人知道该怎么做？我应该创建循环吗？我怎样才能让这个脚本读取我拥有的 10k 图像中的每一个？

我尝试导入文件夹和图像列表，并将 img_raw 更改为如下文件，但没有成功...

enter code here
# Importing folder
folder <- "C:/Users/xxxx/Documents/Sample"

# Listing files inside the folder
files <- list.files(path = folder, recursive = TRUE, pattern = "*jpg", full.names = TRUE)

enter code here
# Call the computer vision endpoint
data <- call_cognitive_endpoint(
  endpoint = endp,
  operation = "analyze",
  body = files,
  options = list(visualFeatures = "tags"),
  http_verb = "POST")

print(data)

任何帮助将不胜感激。谢谢大师!

Answer 1

这种问题模式很常见，可以在 R 中使用 lapply 函数或类似函数轻松解决。

首先，编写一个处理单个文件的函数。确保要处理的文件是函数的第一个(或唯一)参数。

imageToDataFrame <-function(f) {
  x <- call_cognitive_endpoint(
    endpoint = endp,
    operation = "analyze",
    body = f,
    options = list(visualFeatures = "tags"),
    http_verb = "POST"
  )
  data.frame(x, stringsAsFactors = TRUE)
}

现在将该函数应用于文件列表。

folder <- "C:/Users/xxxx/Documents/Sample"
files <- list.files(path = folder, recursive = TRUE, pattern = "*jpg", full.names = TRUE)

listOfDataFrames <- lapply(files, imageToDataFrame)

这将返回数据帧列表。要将所有数据框合并为一个，您可以

allInOneDataframe <- lapply(files, imageToDataFrame) %>% dplyr::bind_rows()

但这不会向您提供有关从中获取图像的文件的信息。

allInOneDataframe <- lapply(files, imageToDataFrame) %>%
                       dplyr::bind_rows(.id="FileID")

将为您提供一个索引号来标识该文件。但更好的可能是修改处理函数:

library(tidyverse)

imageToDataFrame1 <-function(f) {
  x <- call_cognitive_endpoint(
    endpoint = endp,
    operation = "analyze",
    body = f,
    options = list(visualFeatures = "tags"),
    http_verb = "POST"
  )
  data.frame(x, stringsAsFactors = TRUE) %>% 
    add_column(FileName=f, .before=1)
}

所以

allInOneDataframe <- lapply(files, imageToDataFrame1) %>% bind_rows()

为您提供文件名本身作为数据框中的一列。

查看您的示例单行数据框，我认为这会对 tidy 有帮助。您的数据 pivot将其转换为长格式。

所有代码均未经测试，因为我无权访问您的 C: 驱动器，也不了解您的 API key 。