目标
我正在努力实现以下目标:
- 捕获包含 FIX protocol 中对话的网络流量
- 将网络流量中的单个 FIX 消息提取为“良好”格式，例如CSV
- 对导出的“nice”格式数据做一些数据分析
我是通过以下方式实现的:
- 使用 pcap 捕获网络流量
- 使用 tshark 将相关数据打印为 CSV
- 使用 Python (pandas) 分析数据
问题
问题是一些捕获的 TCP 数据包包含多个 FIX 消息，这意味着当我使用 tshark 导出到 CSV 时，我不会在每行中收到一条 FIX 消息。这使得使用 CSV 变得困难。
这是我用来提取相关 FIX 字段的 tshark 命令行，因为 CSV 是:
tshark -r dump.pcap \
-R \'(fix.MsgType[0]=="G" or fix.MsgType[0]=="D" or fix.MsgType[0]=="8" or \ fix.MsgType[0]=="F") and fix.ClOrdID != "0"\' \
-Tfields -Eseparator=, -Eoccurrence=l -e frame.time_relative \
-e fix.MsgType -e fix.SenderCompID \
-e fix.SenderSubID -e fix.Symbol -e fix.Side \
-e fix.Price -e fix.OrderQty -e fix.ClOrdID \
-e fix.OrderID -e fix.OrdStatus'
请注意，在数据包中某个字段多次出现的情况下，我目前使用“-Eoccurrence=l”来获取命名字段的最后一次出现。这不是一个可接受的解决方案，因为当数据包中有多个 FIX 消息时，信息将被丢弃。
这是我希望在导出的 CSV 文件中每行看到的内容(来自一条 FIX 消息的字段):
16.508949000,D,XXX,XXX,YTZ2,2,97480,34,646427,,
这是我在 TCP 数据包中有多个 FIX 消息(本例中为三个)并且使用命令行标志“-Eoccurrence=a”时看到的结果:
16.515886000,F,F,G,XXX,XXX,XXX,XXX,XXX,XXX,XTZ2,2,97015,22,646429,646430,646431,323180,323175,301151,
问题
有没有办法(不一定使用 tshark)从 pcap 文件中提取每个单独的、协议(protocol)特定的消息？
最佳答案
更好的解决方案
使用 tcpflow 可以在不离开命令行的情况下正确完成此操作。
我目前的方法是使用类似的东西:
tshark -nr <input_file> -Y'fix' -w- | tcpdump -r- -l -w- | tcpflow -r- -C -B
tcpflow 确保遵循 TCP 流，因此不会遗漏任何 FIX 消息(在单个 TCP 数据包包含超过 1 个 FIX 消息的情况下)。 -C 写入控制台，-B 确保二进制输出。这种方法与在 Wireshark 中跟踪 TCP 流没有什么不同。
保留了 FIX 分隔符，这意味着我可以对输出进行一些方便的 grepping，例如
... | tcpflow -r- -C -B | grep -P "\x0135=8\x01"
提取所有执行报告。请注意 grep 的 -P 参数，它允许使用非常强大的 perl 正则表达式。
一个(以前的)解决方案
我正在使用 Scapy (另请参见 Scapy Documentation、The Very Unofficial Dummies Guide to Scapy)读取 pcap 文件并从数据包中提取每个单独的 FIX 消息。
下面是我使用的代码的基础:
from scapy.all import *
def ExtractFIX(pcap):
"""A generator that iterates over the packets in a scapy pcap iterable
and extracts the FIX messages.
In the case where there are multiple FIX messages in one packet, yield each
FIX message individually."""
for packet in pcap:
if packet.haslayer('Raw'):
# Only consider TCP packets which contain raw data.
load = packet.getlayer('Raw').load
# Ignore raw data that doesn't contain FIX.
if not 'FIX' in load:
continue
# Replace \x01 with '|'.
load = re.sub(r'\x01', '|', load)
# Split out each individual FIX message in the packet by putting a
# ';' between them and then using split(';').
for subMessage in re.sub(r'\|8=FIX', '|;8=FIX', load).split(';'):
# Yield each sub message. More often than not, there will only be one.
assert subMessage[-1:] == '|'
yield subMessage
else:
continue
pcap = rdpcap('dump.pcap')
for fixMessage in ExtractFIX(pcap):
print fixMessage
我仍然希望能够从网络数据包的“帧”层获取其他信息，特别是相对(或引用)时间。不幸的是，这似乎无法从 Scapy 数据包对象获得 - 它的最顶层是 Ether 层，如下所示。
In [229]: pcap[0]
Out[229]: <Ether dst=00:0f:53:08:14:81 src=24:b6:fd:cd:d5:f7 type=0x800 |<IP version=4L ihl=5L tos=0x0 len=215 id=16214 flags=DF frag=0L ttl=128 proto=tcp chksum=0xa53d src=10.129.0.25 dst=10.129.0.115 options=[] |<TCP sport=2634 dport=54611 seq=3296969378 ack=2383325407 dataofs=8L reserved=0L flags=PA window=65319 chksum=0x4b73 urgptr=0 options=[('NOP', None), ('NOP', None), ('Timestamp', (581177, 2013197542))] |<Raw load='8=FIX.4.0\x019=0139\x0135=U\x0149=XXX\x0134=110169\x015006=20\x0150=XXX\x0143=N\x0152=20121210-00:12:13\x01122=20121210-00:12:13\x015001=6\x01100=SFE\x0155=AP\x015009=F3\x015022=45810\x015023=3\x015057=2\x0110=232\x01' |>>>>
In [245]: pcap[0].summary()
Out[245]: 'Ether / IP / TCP 10.129.0.25:2634 > 10.129.0.115:54611 PA / Raw'
关于pcap - tshark 导出 FIX 消息，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13810156/