python - 如何将pygame中的3d数组转换为opencv python中的有效输入？

Question

我正在尝试将屏幕输入从游戏文件输入到图像处理器文件:
PyGame输出:

image_data = pygame.surfarray.array3d(pygame.display.get_surface()) 

OpenCV输入:

imgTesting = cv2.imread(image_data)

我得到的错误是:

imgTesting = cv2.imread(image_data)         
TypeError: bad argument type for built-in operation

那么，如何将3d输入转换为opencv友好数据，以便进行图像处理？

Answer 1

imread()用于读取文件，而不是内存。

但是您不必转换它。 PyGame提供可以在cv2中使用的图像。

您只需要:

从RGB(用于PyGame)转换为BGR(用于CV2)。

transpose图像-将width与height交换。PyGame使用(X,Y)，但CV2使用(Y,X)像数学中的矩阵(即(row, column))。

我认为这段代码显示了您可能需要的所有内容。

在PyGame中创建图像

以PyGame显示图像

将图像从PyGame转换为CV2

以CV2显示图像

修改CV2中的图像

以CV2显示修改后的图像

将修改后的图像从CV2转换为PyGame

以PyGame显示修改后的图像

。

import pygame
import cv2

pygame.init()

# --- create PyGame image ---

pg_img = pygame.Surface((400, 200))
pygame.draw.circle(pg_img, (255,0,0), (0,0), 200)

# --- display PyGame image ---

screen = pygame.display.set_mode((400, 400))

screen.fill((255,255,255))
screen.blit(pg_img, pg_img.get_rect())
pygame.display.flip()

running = True
while running:
    for event in pygame.event.get():
        if event.type == pygame.QUIT:
            running = False
        if event.type == pygame.KEYDOWN:
            running = False

pygame.quit()

# --- move from PyGame to CV2 ---

color_image = pygame.surfarray.array3d(pg_img)

color_image = cv2.transpose(color_image)
color_image = cv2.cvtColor(color_image, cv2.COLOR_RGB2BGR)

# --- display CV2 image ---

cv2.imshow('Color', color_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

# --- change CV2 image ---

color_image = cv2.rotate(color_image, cv2.ROTATE_90_CLOCKWISE)
gray_image = cv2.cvtColor(color_image, cv2.COLOR_BGR2GRAY)

# --- display CV2 image ---

cv2.imshow('Gray', gray_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

# --- save in file in CV2 ---

cv2.imwrite('test.png', color_image)

# --- move back from CV2 to PyGame ---

gray_image = cv2.cvtColor(gray_image, cv2.COLOR_GRAY2RGB)
gray_image = cv2.transpose(gray_image)

pg_img = pygame.surfarray.make_surface(gray_image)

# --- display PyGame image ---

screen = pygame.display.set_mode((400, 400))

screen.fill((255,255,255))
screen.blit(pg_img, pg_img.get_rect())
pygame.display.flip()

running = True
while running:
    for event in pygame.event.get():
        if event.type == pygame.QUIT:
            running = False
        if event.type == pygame.KEYDOWN:
            running = False

pygame.quit()