我正在尝试运行一个 Python 脚本,以便我可以根据居住地址列和居住城市列创建家庭计数。两列都只包含字符串。
我试过的脚本如下:
dataset['id'] =dataset.groupby(['RESIDENTIAL_ADDRESS1','RESIDENTIAL_CITY']).ngroup()
dataset['household_count'] = dataset.groupby(['id'])['id'].transform('count')
然而,它在 20,000 行后给我这个错误:
DataSource.Error:ADO.NET:处理您的 Python 脚本时出现问题。以下是技术细节: [DataFormat.Error] 我们无法转换为数字。 Details:DataSourceKind=Python DataSourcePath=Python Message=处理您的 Python 脚本时出现问题。以下是技术细节: [DataFormat.Error] 我们无法转换为数字。错误代码=-2147467259。
有什么办法可以解决这个问题吗?此代码每次都在 python 中运行,错误代码在 Power BI 中完全没有意义,我将非常感谢任何有关如何使用 DAX 执行此操作的建议。
最佳答案
我无法重现您的错误,但我强烈怀疑错误的来源是数据类型。在 Power Query Editor
中,尝试将分组变量转换为文本。您的查询对于大于 20000
行的数据集失败这一事实应该与问题完全无关。当然,除非数据内容在第 20000 行之后发生了某种变化。
如果您可以描述您的数据源并在 Power Query 编辑器中显示应用的步骤,这将对任何试图帮助您的人有很大帮助。您也可以尝试一次一步地应用您的代码,这意味着使用 dataset['id'] =dataset.groupby(['RESIDENTIAL_ADDRESS1','RESIDENTIAL_CITY']).ngroup()
以及另一个使用 dataset['household_count'] = dataset.groupby(['id'])['id'].transform('count')
我不妨向您展示如何做到这一点,也许同时巩固我对错误在于数据类型的怀疑,并希望排除其他错误来源。
我正在使用 numpy 以及一些随机的城市和街道名称来构建一个数据集,我希望它能代表您的真实世界数据集的结构和数据类型:
片段 1:
import numpy as np
import pandas as pd
np.random.seed(123)
strt=['Broadway', 'Bowery', 'Houston Street', 'Canal Street', 'Madison', 'Maiden Lane']
city=['New York', 'Chicago', 'Baltimore', 'Victory Boulevard', 'Love Lane', 'Utopia Parkway']
RESIDENTIAL_CITY=np.random.choice(strt,21000).tolist()
RESIDENTIAL_ADDRESS1=np.random.choice(strt,21000).tolist()
sample_dataset=pd.DataFrame({'RESIDENTIAL_CITY':RESIDENTIAL_CITY,
'RESIDENTIAL_ADDRESS1':RESIDENTIAL_ADDRESS1})
复制该片段,转到 PowerBI Desktop > Power Query Editor > Transform > Run Python Script
并运行它以获取此代码:
然后用这个片段做同样的事情:
dataset['id'] =dataset.groupby(['RESIDENTIAL_ADDRESS1','RESIDENTIAL_CITY']).ngroup()
现在你应该有这个:
到目前为止,您的最后一步称为 Changed Type 2
。正上方是一个名为 dataset
的步骤。如果单击它,您将看到 ID
的数据类型有一个字符串 ABC
并且在下一步中它会更改为数字 123
.根据我的设置,Power BI 会自动插入步骤 Changed Type 2
。也许你不是这样?它肯定可以成为潜在的错误源。
接下来,插入最后一行作为它自己的步骤:
dataset['household_count'] = dataset.groupby(['id'])['id'].transform('count')
现在您应该拥有如下所示的数据集,以及 Applied Steps
下的相同步骤:
使用此设置,一切似乎都运行良好。那么,我们现在知道什么是确定的?
- 数据集的大小不是问题
- 你的代码本身不是问题
- Python 应该可以在 Power BI 中完美地处理这个问题
我们怀疑什么?
- 问题出在您的数据上——缺失值或类型错误
我希望这能以某种方式帮助你。如果没有,请随时告诉我。
关于python - 使用 Python 脚本在 Power BI 中创建新列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57779808/