python - 在 Shady 中呈现预先准备好的图像阵列的一部分

Question

我有兴趣从 psychtoolbox 迁移到 shady用于我的刺激演示。我查看了在线文档，但我不太清楚如何在 shady 中复制我目前在 matlab 中所做的事情。

我做的其实很简单。对于每个试验，

1. 我从磁盘加载单个图像(我离线进行亮度线性化)，其中包含我计划在该试验中显示的所有帧(刺激物为 1000x1000 像素，我呈现 25 帧，因此图像是 5000x5000 像素。我只使用 BW 图像，所以每个像素只有一个 int8 值)。

2. 我将整个图像从 CPU 传输到 GPU

3. 在某些时候(外部控制)我将第一帧复制到视频缓冲区并呈现

4. 在其他某个时间点(外部控制)我触发了 剩余 24 帧(为每个视频帧将图像的相关部分复制到视频缓冲区，然后调用 flip())。

5. 外部控制是通过让另一台机器通过 TCP/IP 与刺激呈现代码通信来实现的。在控制 PC 向演示 PC 发送命令并执行后，演示 PC 需要向控制 PC 发回确认消息。我需要发送三个 ACK​​ 消息，当第一帧出现在屏幕上时发送一条，当第二帧出现在屏幕上时发送一条，当第 25 帧出现在屏幕上时发送一条(这样控制 PC 可以轻松验证帧是否已丢失). 在 matlab 中，我通过调用阻塞方法 flip() 来呈现一个帧，当它返回时，我将 ACK 发送到控制 PC。

就是这样。我怎么会在阴凉处做到这一点？有我应该看的示例吗？

Answer 1

查找此信息的地方是 Shady.Stimulus 的文档字符串和 Shady.Stimulus.LoadTexture ，以及包含的示例脚本 animated-textures.py .

像 Python 的大多数东西一样，有多种方法可以做你想做的事。以下是我的做法:

w = Shady.World()
s = w.Stimulus( [frame00, frame01, frame02, ...], multipage=True )

其中每个 frameNN 都是一个 1000x1000 像素的 numpy 数组( float 或 uint8)。

或者你可以要求 Shady 直接从磁盘加载:

s = w.Stimulus('trial01/*.png', multipage=True)

trial01 目录包含 25 个 1000x1000 像素的图像文件，命名为(比方说)00.png 到 24.png 以便他们得到正确排序。或者您可以提供一个明确的文件名列表。

无论哪种方式，无论您是从内存还是从磁盘加载，帧都在该调用中传输到图形卡。然后，您可以(时间关键)在它们之间切换:

s.page = 0  # or any number up to 24 in your case

请注意，由于我们使用了 multipage 选项，我们使用的是“页面”动画机制(每帧创建一个 OpenGL 纹理)而不是默认的“帧”机制(创建一个 1000x25000 OpenGL 纹理)，因为后者会超过许多显卡上单个纹理的最大允许尺寸。这些机制之间的区别在 Shady.Stimulus 类的文档字符串以及上述交互式演示中进行了讨论:

python -m Shady demo animated-textures

要准备下一次试用，您可以使用 .LoadPages()(Shady 版本 1.8.7 中的新功能)。这循环遍历现有的“页面”，将新纹理加载到以前使用的图形卡纹理缓冲区中，并根据需要添加更多页面:

s.LoadPages('trial02/*.png')

现在，您提到您既定的工作流程是将帧连接成一张 5000x5000 像素的图像。我上面的解决方案假设你已经完成了将它再次切割成 1000x1000 像素帧的工作，大概是使用 numpy 调用(听起来你现在可能正在 Matlab 中做同样的事情)。如果您打算继续保存为 5000x5000，那么保持对事物的控制的最好方法可能确实是维护您自己的代码以将其切割。但值得一提的是，您可以采取完全不同的策略一次性全部转移:

s = w.Stimulus('trial01_5000x5000.png', size=1000)

这会将整个预先准备好的 5000x5000 图像从磁盘(如果您想传递 5000x5000 numpy 数组而不是文件名，则再次从内存)加载到显卡内存中的单个纹理中。但是，由于 size 规范，Stimulus 将仅显示数组左下角的 1000x1000 像素部分。然后，您可以通过相对于信封移动载体来切换“框架”。例如，如果您要说:

s.carrierTranslation = [-1000, -2000]

然后您将看到位于 5x5 阵列中一“列”和两“行”上方的框架。

最后一点，请记住，您可以利用 Shady 的即时 Gamma 校正和抖动 - 除非您明确禁用它们，否则它们会一直发生，尽管它们当然有如果将刺激 .gamma 保留为 1.0 并使用整数像素值，则不会产生任何物理影响。因此，您可以将刺激生成为单独的 1000x1000 数组，每个数组包含 [0.0,1.0] 范围内的非线性浮点值，让 Shady 担心超出此范围的一切。