python - Numpy 值错误 : setting an array element with a sequence

Question

当尝试将 mysql 数据转换为 numpy 数组(最终是一个列表)时，我收到 Numpy ValueError: set an array element with a sequence 。最初我想要有多个字段，但我已将代码简化为仅制作一个包含一个字段(整数)的列表，以便进行故障排除。

我是 numpy 新手，所以我不太确定 i4 代表什么(尽管文档说它意味着一个整数......好吧)。至于count，似乎是指字段的数量。但是，fromiter 行上的某些内容仍然导致它遇到异常。

import MySQLdb
import numpy

conn = MySQLdb.connect(host="localhost", user="x", passwd="x", db="x")
curs = conn.cursor() 
numrows = curs.execute("select id from table")

A = numpy.fromiter(curs.fetchall(), count=numrows, dtype=('i4'))

print A 
ids = A['f0'] 

回溯:

A = numpy.fromiter(curs.fetchall(), count=1, dtype=('i4'))
ValueError: setting an array element with a sequence.

Answer 1

更正 - 要使用 fetchall 中的元组列表，dtype 应生成结构化数组

查看文档，我发现 fetch_all 返回元组列表，而不是生成器。但这不是这里的问题。两者都是可迭代的。问题出在 dtype 上。要从元组列表创建一维数组，fromiter 需要一个结构化的复合数据类型。

此数据类型适用于 1 元素元组:

In [355]: np.fromiter([(1,)],dtype=[('f0','i4')])
Out[355]: 
array([(1,)], dtype=[('f0', '<i4')])

这适用于 2 个字段(列)

In [356]: np.fromiter([(1,1)],dtype=('i4,i4'))
Out[356]: 
array([(1, 1)],   dtype=[('f0', '<i4'), ('f1', '<i4')])

但它们是相同的 - 一个普通的非结构化数组。

np.fromiter([(1,)],dtype=('i4'))
np.fromiter([(1,)],dtype=int)

[(1,)] 的处理方式与 [[1]] 相同，是 2d 数组的输入，而不是 fromiter 的 1d 可迭代对象 期望。

---

对于结构化情况，

np.array 的工作方式与 fromiter 相同:

 np.array([(1,)],dtype=[('f0','i4')])
 np.array([(1,1)],dtype=('i4,i4'))

它也适用于 int (或 i4)，但结果是一个二维数组:

In [366]: np.array([(1,)],dtype=('i4'))
Out[366]: array([[1]])

---

(早期版本)

我可以通过给 fromiter 一个 [(1,)] 可迭代来重现您的错误消息。

In [288]: np.fromiter([(1,)],dtype=int)
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-288-ba24373a9489> in <module>()
----> 1 np.fromiter([(1,)],dtype=int)

ValueError: setting an array element with a sequence.

fromiter 想要一个一维输入，例如[1,2,3](或等效的生成器)。

自从我使用sql以来已经有一段时间了，但我的猜测是curs.fetchall()给出了元组的可迭代，而不是单个数字的可迭代。

您需要显示(打印)curs.fetchall() 或 list(curs.fetchall()) 以查看正在传递给 fromiter 的内容.

为什么使用fromiter？您尝试过np.array(curs.fetchall())吗？

让我们尝试使用生成器表达式来更好地模拟生成元组的 fetchall:

In [298]: np.fromiter((i for i in [(1,2,3)]),dtype=int)
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-298-f8fbf106b4d1> in <module>()
----> 1 np.fromiter((i for i in [(1,2,3)]),dtype=int)

ValueError: setting an array element with a sequence.
In [299]: np.array((i for i in [(1,2,3)]),dtype=int)
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-299-71dd7463b539> in <module>()
----> 1 np.array((i for i in [(1,2,3)]),dtype=int)

TypeError: int() argument must be a string or a number, not 'generator'

这有效:

In [300]: np.array(list(i for i in [(1,2,3)]),dtype=int)
Out[300]: array([[1, 2, 3]])

In [301]: list(i for i in [(1,2,3)])
Out[301]: [(1, 2, 3)]

创建 numpy 数组的最简单方法是使用列表 - 它可以是数字列表、列表列表(大小均相同)或元组列表。

What's the most efficient way to convert a MySQL result set to a NumPy array?是之前关于使用 fetchall 和 fromiter 的讨论。

---