我有一个包含 367 列的 csv
文件。第一列有 15 个唯一值,后续的每个列都有这 15 个值的某个子集。在一列中不会多次找到唯一值。每列均已排序。如何让行对齐?我的最终目标是制作存在/不存在热图,但我需要首先以正确的格式获取数据矩阵,这是我正在努力解决的问题。
这是我拥有的数据类型的一个小示例:
1,2,1,2
2,3,2,5
3,4,3,
4,,5,
5,,,
我需要行与引用匹配,但保持在同一列中,如下所示:
1,,1,
2,2,2,2
3,3,3,
4,4,,
5,,5,5
我的想法是使用 pandas
库,但我不知道如何解决这个问题,因为我对使用 python 很陌生。我使用的是python2.7。
最佳答案
所以你的问题肯定可以通过pandas
解决:
代码:
# Create the sample data into a data frame
import pandas as pd
from io import StringIO
df = pd.read_csv(StringIO(u"""
1,2,1,2
2,3,2,5
3,4,3,
4,,5,
5,,,"""), header=None, skip_blank_lines=1).fillna(0)
for column in df:
df[column] = pd.to_numeric(df[column], downcast='integer')
# set the first column as an index
df = df.set_index([0])
# create a frame which we will build up
results = pd.DataFrame(index=df.index)
# add each column to the datafarme indicating if the desired value is present
for col in df.columns:
results[col] = df.index.isin(df[col])
# output the dataframe in the desired format
for idx, row in results.iterrows():
result = '%s,%s' % (idx, ','.join(str(idx) if x else ''
for x in row.values))
print(result)
结果:
1,,1,
2,2,2,2
3,3,3,
4,4,,
5,,5,5
它是如何工作的?:
第一次接触 Panda 时可能会有点令人畏惧,即使对于熟悉 Python 的人来说也是如此,所以我将尝试逐步解决这个问题。我鼓励您做您需要做的事情来克服学习曲线,因为 pandas
对于这种数据操作来说非常强大。
将数据放入框架中:
第一段代码除了将示例数据放入 pandas.DataFrame
之外什么也不做。未指定您的数据格式,因此我假设您可以将其放入框架中,或者如果您无法将其放入框架中,则会在此处询问另一个关于将数据放入框架中的问题。
import pandas as pd
from io import StringIO
df = pd.read_csv(StringIO(u"""
1,2,1,2
2,3,2,5
3,4,3,
4,,5,
5,,,"""), header=None, skip_blank_lines=1).fillna(0)
for column in df:
df[column] = pd.to_numeric(df[column], downcast='integer')
# set the first column as an index
df = df.set_index([0])
构建结果框架:
从只是索引的结果帧开始
# create a frame which we will build up
results = pd.DataFrame(index=df.index)
对于源数据中的每一列,查看该值是否在索引中
# add each column to the dataframe indicating if the desired value is present
for col in df.columns:
results[col] = df.index.isin(df[col])
就是这样,用三行代码,我们就计算出了我们的结果。
输出结果:
现在迭代包含 bool 值的每一行,并以所需的格式(作为整数)输出值
# output the dataframe in the desired format
for idx, row in results.iterrows():
result = '%s,%s' % (idx, ','.join(str(idx) if x else ''
for x in row.values))
print(result)
这首先输出索引值,然后对于每个 True
值再次输出索引,对于 False
值输出一个空字符串。
后记:
这里有很多人比我更擅长 pandas
,但由于您没有使用 pandas
关键字标记您的问题,他们可能没有注意到这个问题。但这让我可以在他们注意到之前就回答问题。 pandas
关键字很好地涵盖了格式良好的问题,因此我非常确定,如果这个答案不是最佳答案,其他人会过来并改进它。因此,将来请务必使用 pandas
标记您的问题,以获得最佳答复。
另外,你提到你是新的 python,所以我会插入一个插件来确保你使用的是一个好的 IDE。我用PyCharm ,而且它和其他优秀的 IDE 可以让 Python 的工作变得更加强大,所以我强烈推荐它们。
关于python - 我的 csv 中有多个列。如何使用 python 将行值与引用列匹配?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43370926/