我有一个包含用户及其 IP 地址的 pandas 数据框:
users_df = pd.DataFrame({'id': [1,2,3],
'ip': ['96.255.18.236','105.49.228.135','104.236.210.234']})
id ip
0 1 96.255.18.236
1 2 105.49.228.135
2 3 104.236.210.234
还有一个单独的数据框，其中包含网络范围和相应的地理名称 ID:
geonames_df = pd.DataFrame({'network': ['96.255.18.0/24','105.49.224.0/19','104.236.128.0/17'],
'geoname': ['4360369.0','192950.0','5391959.0']})
geoname network
0 4360369.0 96.255.18.0/24
1 192950.0 105.49.224.0/19
2 5391959.0 104.236.128.0/17
对于每个用户，我需要针对所有网络检查他们的 ip，并提取相应的 geoname 并将其添加到 users_df。我想要这个作为输出:
id ip geonames
0 1 96.255.18.236 4360369.0
1 2 105.49.228.135 192950.0
2 3 104.236.210.234 5391959.0
在这个例子中很简单，因为它们的顺序是正确的，而且只有 3 个例子。实际上，users_df 有 4000 行，geonames_df 有超过 300 万
我目前正在使用这个:
import ipaddress
networks = []
for n in geonames_df['network']:
networks.append(ipaddress.ip_network(n))
geonames = []
for idx, row in users_df.iterrows():
ip_address = ipaddress.IPv4Address(row['ip'])
for block in networks:
if ip_address in block:
geonames.append(str(geonames_df.loc[geonames_df['network'] == str(block), 'geoname'].item()))
break
users_df['geonames'] = geonames
由于数据框/列表上的嵌套循环，这非常慢。有没有更快的方法来利用 numpy/pandas？或者至少有比上述方法更快的方法？
有一个类似的问题(How can I check if an ip is in a network in python 2.x?)，但 1) 它不涉及 pandas/numpy，2) 我想针对多个网络 检查多个 IP，以及 3) 投票最高的answer 避免不了嵌套循环，这是我性能慢的根源
最佳答案
我认为无法避免嵌套循环，但我已将评论中提到的先前解决方案与 pandas 结合起来。您可以检查它是否更快。
import socket,struct
def makeMask(n):
"return a mask of n bits as a long integer"
return (2<<n-1) - 1
def dottedQuadToNum(ip):
"convert decimal dotted quad string to long integer"
return struct.unpack('L',socket.inet_aton(ip))[0]
def networkMask(network):
"Convert a network address to a long integer"
return dottedQuadToNum(network.split('/')[0]) & makeMask(int(network.split('/')[1]))
def whichNetwork(ip):
"return the network to which the ip belongs"
numIp = dottedQuadToNum(ip)
for index,aRow in geonames_df.iterrows():
if (numIp & aRow["Net"] == aRow["Net"]):
return aRow["geoname"]
return "Not Found"
geonames_df["Net"] = geonames_df["network"].map(networkMask)
users_df["geonames"] = users_df["ip"].map(whichNetwork)
关于python - Pandas检查IP地址属于哪个子网，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52158904/