我目前正在开发一个程序,该程序采用 .pcap 文件并使用 scapy 包通过 ip 分离出所有数据包。我想解压缩使用 gzip 包压缩的有效负载。我可以判断有效载荷是否被压缩,因为它包含
Content-Encoding: gzip
我正在尝试使用
fileStream = StringIO.StringIO(payload)
gzipper = gzip.GzipFile(fileobj=fileStream)
data = gzipper.read()
解压缩有效负载,其中
payload = str(pkt[TCP].payload)
当我尝试这样做时,我得到了错误
IOError: Not a gzipped file
当我打印我得到的第一个有效载荷时
HTTP/1.1 200 OK
Cache-Control: private, max-age=0
Content-Type: text/html; charset=utf-8
P3P: CP="NON UNI COM NAV STA LOC CURa DEVa PSAa PSDa OUR IND"
Vary: Accept-Encoding
Content-Encoding: gzip
Date: Sat, 30 Mar 2013 19:23:33 GMT
Content-Length: 15534
Connection: keep-alive
Set-Cookie: _FS=NU=1; domain=.bing.com; path=/
Set-Cookie: _SS=SID=F2652FD33DC443498CE043186458C3FC&C=20.0; domain=.bing.com; path=/
Set-Cookie: MUID=2961778241736E4F314E732240626EBE; expires=Mon, 30-Mar-2015 19:23:33 GMT; domain=.bing.com; path=/
Set-Cookie: MUIDB=2961778241736E4F314E732240626EBE; expires=Mon, 30-Mar-2015 19:23:33 GMT; path=/
Set-Cookie: OrigMUID=2961778241736E4F314E732240626EBE%2c532012b954b64747ae9b83e7ede66522; expires=Mon, 30-Mar-2015 19:23:33 GMT; domain=.bing.com; path=/
Set-Cookie: SRCHD=D=2758763&MS=2758763&AF=NOFORM; expires=Mon, 30-Mar-2015 19:23:33 GMT; domain=.bing.com; path=/
Set-Cookie: SRCHUID=V=2&GUID=02F43275DC7F435BB3DF3FD32E181F4D; expires=Mon, 30-Mar-2015 19:23:33 GMT; path=/
Set-Cookie: SRCHUSR=AUTOREDIR=0&GEOVAR=&DOB=20130330; expires=Mon, 30-Mar-2015 19:23:33 GMT; domain=.bing.com; path=/
?}k{?H????+0?#!?,_???$?:?7vf?w?Hb???ƊG???9???/9U?\$;3{9g?ycAӗ???????W{?o?~?FZ?e ]>??<??n?????????????d?t??a?3?
?2?p??eBI?e??????ܒ?P??-?Q?-L?????ǼR?³?ׯ??%'
?2Kf?7???c?Y?I?1+c??,ae]?????<{?=ƞ,?^?J?ď???y??6O?_?z????_?ޞ~?_?????Bo%]???_?????W=?
有关其他信息,这是一个被隔离的数据包,因为它包含内容编码:来自项目提供的示例 .pcap 文件的 gzip。
最佳答案
为了解码 gzip 压缩的 HTTP 响应,您只需解码响应正文,而不是 header 。
在您的例子中,payload
是整个 TCP 有效负载,即包括 header 和正文的整个 HTTP 消息。
HTTP 消息(请求和响应)为 RFC 822消息(与电子邮件消息 (RFC 2822) 所基于的通用消息格式相同)。
822 消息的结构非常简单:
- 零个或多个标题行(由
:
分隔的键/值对),由 CRLF 终止 - 一个空行(CRLF(回车,换行,so
'\r\n'
) - 邮件正文
您现在可以自己解析此消息以隔离正文。但我更愿意推荐您使用 Python 已经为您提供的工具。 httplib
模块 (Python 2.x) 包括 HTTPMessage
httplib
内部用来解析 HTTP 响应的类。它并不意味着可以直接使用,但在这种情况下我可能仍会使用它 - 它会为您处理一些 HTTP 特定的细节。
以下是如何使用它来将正文与 header 分开:
>>> from httplib import HTTPMessage
>>>
>>> f = open('gzipped_response.payload')
>>>
>>> # Or, if you already have the payload in memory as a string:
... # f = StringIO.StringIO(payload)
...
>>> status_line = f.readline()
>>> msg = HTTPMessage(f, 0)
>>> body = msg.fp.read()
HTTPMessage
类的工作方式类似于 rfc822.Message
做:
首先,您需要读取(或丢弃)状态行 (
HTTP/1.1 200 OK
),因为它不是 RFC822 消息的一部分,也不是 header 。然后您实例化
HTTPMessage
,并带有打开文件的句柄,并将seekable
参数设置为0
。文件指针存储为msg.fp
- 在实例化时,它会调用
msg.readheaders()
,读取所有标题行,直到遇到空行 (CRLF)。 - 此时,
msg.fp
已经前进到 header 结束和正文开始的位置。因此,您可以调用msg.fp.read()
来阅读消息的其余部分 - 正文。
在那之后,你解压 gzipped body 的代码就可以工作了:
>>> body_stream = StringIO.StringIO(body)
>>> gzipper = gzip.GzipFile(fileobj=body_stream)
>>> data = gzipper.read()
>>>
>>> print data[:25]
<!DOCTYPE html>
<html>
关于python - 使用 Python 解压缩数据包的 gzip 有效负载,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30332485/