python - 使用python修改fits文件时出现错误 "buffer is too small for requested array"

标签 python astropy fits

我正在尝试从初始 template.fits 创建一个新的拟合文件

这个 template.fits 的语音 1 的表有 3915 行,而我的新文件必须有超过 50000 行。

部分代码如下:

hdulist = fits.open('/Users/Martina/Desktop/Ubuntu_Condivisa/Post_Doc_IAPS/ASTRI/ASTRI_scienceTools/Astrisim_MC/template.fits') 

hdu0=hdulist[0]

hdu0.writeto(out_pile+'.fits', clobber=True)  

hdu1=hdulist[1]

hdu1.header['NAXIS2'] = na           

hdu1.header['ONTIME'] = tsec              

hdu1.header['LIVETIME'] = tsec       

hdu1.writeto(out_pile+'.fits', clobber=True) 

hdu1_data=hdu1.data              

for j in range(na-1):

  hdu1_data[j+1][1]=j+1

  hdu1_data[j+1][3]=t[j]+0.

  hdu1_data[j+1][7]=ra[j]

  hdu1_data[j+1][8]=dec[j]

  hdu1_data[j+1][21]=enetot[j]

hdu1.writeto(out_pile+'.fits', clobber=True)

当我尝试填充新表(代码的最后一部分)时,错误如下:

Traceback (most recent call last):

  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\utils\decorators.py", line 734, in __get__
    return obj.__dict__[self._key]

KeyError: 'data'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

  File "Astrisim_MC_4.py", line 340, in 

    hdu1_data=hdu1.data              

  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\utils\decorators.py", line 736, in __get__
    val = self.fget(obj)

  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\io\fits\hdu\table.py", line 404, in data
    data = self._get_tbdata()

  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\io\fits\hdu\table.py", line 171, in _get_tbdata
    self._data_offset)

  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\io\fits\hdu\base.py", line 478, in _get_raw_data
    return self._file.readarray(offset=offset, dtype=code, shape=shape)

  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\io\fits\file.py", line 279, in readarray
    buffer=self._mmap)

TypeError: buffer is too small for requested array

我尝试改变行数,代码最多可正常工作 3969 行。

如何解决这个问题?

提前非常感谢您,

干杯!

玛蒂娜

最佳答案

您最初的问题是在哪里执行此操作的:

hdu1.header['NAXIS2'] = na 

很自然地认为您可能能够做到,但实际上不应该这样做。一般来说,在使用 astropy.io.fits 时,几乎不应该手动弄乱 FITS header 中描述数据本身结构的关键字。这部分源于 FITS 本身的设计 - 它将这些结构性关键字与元数据关键字混合在一起 - 部分源于 astropy.io.fits 的设计问题它可以让您完全操纵这些关键字,或者它不会更紧密地将数据与它们联系起来。我在这里更详细地讨论了这个问题:https://github.com/astropy/astropy/issues/3836但从未抽出时间在文档中添加更多对此的解释。

基本上,您可以想到的方式是,当打开 FITS 文件时,首先读取其 header 并将其解析为包含所有 header 关键字的 Header 对象。还进行了一些簿记工作,以跟踪文件中 header 后面有多少数据。然后,当您访问 HDU 的数据时, header 关键字用于确定数据的类型和形状。所以通过做类似的事情

hdu1.header['NAXIS2'] = na
hdu1_data = hdu1.data

这并不是以某种方式增长文件中的数据。相反,它只是让人困惑,认为文件中的数据行比实际的数据行多,因此出现错误“缓冲区对于请求的数组来说太小”。在这种情况下,它引用的“缓冲区”是文件中的其余数据,并且您请求它读取比文件中数据长的数组。

事实上,它允许你完全打破这个在我看来是Astropy中的一个错误。当文件第一次打开时,它应该在后台保存所有正确的结构关键字,这样即使用户不小心修改了这些关键字,数据仍然可以正确加载(或者用户应该是 completely prevented from modifying these keywords directly

要解释哪里出了问题,需要很长的时间,但也许它会有助于更好地理解该库的工作原理。

至于你的实际问题,我认为@Evert的建议很好,使用更高级别并且更容易使用astropy.table创建一个您需要大小的新表,然后将现有表复制到新表中。您可以使用 Table.read 直接将 FITS 表作为 Table 对象打开。我认为您也可以复制 FITS 元数据,但我不确定最好的方法。

与您的主要问题无关的另一个小评论 - 在使用数组时,您不必(实际上不应该)使用 for 循环来执行可矢量化操作。

例如,因为这只是循环数组索引:

对于范围 (na-1) 内的 j: hdu1_data[j+1][1]=j+1 hdu1_data[j+1][3]=t[j]+0。 hdu1_data[j+1][7]=ra[j] hdu1_data[j+1][8]=dec[j] hdu1_data[j+1][21]=enetot[j]

你可以这样编写操作:

hdu1_data[:][1] = np.arange(na)
hdu1_data[:][3] = t + 0.
hdu1_data[:][7] = ra

等等(我不确定你为什么要这样做j+1,因为这会跳过第一行,但这一点仍然成立)。当然,这假设正在更新的数组(在本例中为 hdu1_data)已经有 na 行。但这就是为什么如果数组还没有达到这个大小,您需要首先增长或连接到数组。

关于python - 使用python修改fits文件时出现错误 "buffer is too small for requested array",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47037648/

相关文章:

python - 指向 403 Forbidden 的 Django Ajax 表单提交

python - 使用带有用户输入的循环通过 python 下载图像列表

fits - 在 astropy.io.fits 中为 BinTableHDU 数据添加标签

python - 使用 Astropy 将 3d Numpy 数组写入 FITS 文件

python - 谁能告诉我 python pyodbc 中的 connection.commit() 有什么意义?

python - 向 dask 数据帧添加新列会引发 ValueError : Length of values does not match length of index

python - 为什么 torch.from_numpy 需要不同的字节顺序而 matplotlib 不需要?

python - 使用 numpy where 查找数组的最小值

python - 对 FITS 图像过采样后从 ra、dec 获取像素坐标

python - 用 python 绘制 SDSS 图像