python - 使用 Python 解压缩数据包的 gzip 有效负载

标签 python gzip packet scapy compression

我目前正在开发一个程序,该程序采用 .pcap 文件并使用 scapy 包通过 ip 分离出所有数据包。我想解压缩使用 gzip 包压缩的有效负载。我可以判断有效载荷是否被压缩,因为它包含

Content-Encoding: gzip

我正在尝试使用

fileStream = StringIO.StringIO(payload)
gzipper = gzip.GzipFile(fileobj=fileStream)
data = gzipper.read()

解压缩有效负载,其中

payload = str(pkt[TCP].payload)

当我尝试这样做时,我得到了错误

IOError: Not a gzipped file

当我打印我得到的第一个有效载荷时

HTTP/1.1 200 OK
Cache-Control: private, max-age=0
Content-Type: text/html; charset=utf-8
P3P: CP="NON UNI COM NAV STA LOC CURa DEVa PSAa PSDa OUR IND"
Vary: Accept-Encoding
Content-Encoding: gzip
Date: Sat, 30 Mar 2013 19:23:33 GMT
Content-Length: 15534
Connection: keep-alive
Set-Cookie: _FS=NU=1; domain=.bing.com; path=/
Set-Cookie: _SS=SID=F2652FD33DC443498CE043186458C3FC&C=20.0; domain=.bing.com; path=/
Set-Cookie: MUID=2961778241736E4F314E732240626EBE; expires=Mon, 30-Mar-2015 19:23:33 GMT; domain=.bing.com; path=/
Set-Cookie: MUIDB=2961778241736E4F314E732240626EBE; expires=Mon, 30-Mar-2015 19:23:33 GMT; path=/
Set-Cookie: OrigMUID=2961778241736E4F314E732240626EBE%2c532012b954b64747ae9b83e7ede66522; expires=Mon, 30-Mar-2015 19:23:33 GMT; domain=.bing.com; path=/
Set-Cookie: SRCHD=D=2758763&MS=2758763&AF=NOFORM; expires=Mon, 30-Mar-2015 19:23:33 GMT; domain=.bing.com; path=/
Set-Cookie: SRCHUID=V=2&GUID=02F43275DC7F435BB3DF3FD32E181F4D; expires=Mon, 30-Mar-2015 19:23:33 GMT; path=/
Set-Cookie: SRCHUSR=AUTOREDIR=0&GEOVAR=&DOB=20130330; expires=Mon, 30-Mar-2015 19:23:33 GMT; domain=.bing.com; path=/

?}k{?H????+0?#!?,_???$?:?7vf?w?Hb???ƊG???9???/9U?\$;3{9g?ycAӗ???????W{?o?~?FZ?e ]>??<??n????׻?????????d?t??a?3?
?2?p??eBI?e??????ܒ?P??-?Q?-L?????ǼR?³?ׯ??%'
?2Kf?7???c?Y?I?1+c??,ae]?????<{?=ƞ,?^?J?ď???y??6O?_?z????_?ޞ~?_?????Bo%]???_?????W=?

有关其他信息,这是一个被隔离的数据包,因为它包含内容编码:来自项目提供的示例 .pcap 文件的 gzip。

最佳答案

为了解码 gzip 压缩的 HTTP 响应,您只需解码响应正文,而不是 header 。

在您的例子中,payload 是整个 TCP 有效负载,即包括 header 和正文的整个 HTTP 消息。

HTTP 消息(请求和响应)为 RFC 822消息(与电子邮件消息 (RFC 2822) 所基于的通用消息格式相同)。

822 消息的结构非常简单:

  • 零个或多个标题行(由 : 分隔的键/值对),由 CRLF 终止
  • 一个空行(CRLF(回车,换行,so '\r\n')
  • 邮件正文

您现在可以自己解析此消息以隔离正文。但我更愿意推荐您使用 Python 已经为您提供的工具。 httplib模块 (Python 2.x) 包括 HTTPMessage httplib 内部用来解析 HTTP 响应的类。它并不意味着可以直接使用,但在这种情况下我可能仍会使用它 - 它会为您处理一些 HTTP 特定的细节。

以下是如何使用它来将正文与 header 分开:

>>> from httplib import HTTPMessage
>>>
>>> f = open('gzipped_response.payload')
>>>
>>> # Or, if you already have the payload in memory as a string:
... # f = StringIO.StringIO(payload)
...
>>> status_line = f.readline()
>>> msg = HTTPMessage(f, 0)
>>> body = msg.fp.read()

HTTPMessage 类的工作方式类似于 rfc822.Message做:

  • 首先,您需要读取(或丢弃)状态行 (HTTP/1.1 200 OK),因为它不是 RFC822 消息的一部分,也不是 header 。

  • 然后您实例化 HTTPMessage,并带有打开文件的句柄,并将 seekable 参数设置为 0。文件指针存储为 msg.fp

  • 在实例化时,它会调用 msg.readheaders(),读取所有标题行,直到遇到空行 (CRLF)。
  • 此时,msg.fp 已经前进到 header 结束和正文开始的位置。因此,您可以调用 msg.fp.read() 来阅读消息的其余部分 - 正文。

在那之后,你解压 gzipped body 的代码就可以工作了:

>>> body_stream = StringIO.StringIO(body)
>>> gzipper = gzip.GzipFile(fileobj=body_stream)
>>> data = gzipper.read()
>>>
>>> print data[:25]
<!DOCTYPE html>
<html>

关于python - 使用 Python 解压缩数据包的 gzip 有效负载,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30332485/

相关文章:

packet - GNU Radio QPSK 从二进制文件中突发数据包

python - 解析 CS :GO language file with encoding in Python

r - 如何直接将R中的write.csv执行为tar.gz格式?

python - 有没有办法使用 `json.dump` 和 `gzip` ?

python - 从 FTP 服务器上的 gz 文件检索数据,而不将其写入本地

tcp - 重组 TCP 段

python - sqlalchemy 中缺少 zxJDBC 连接器(使用 DB2)

python - 如何使用 C API 创建 datetime64 对象的 Numpy 数组?

python - Pandas:为具有多列的数据框实现groupby +聚合的优雅方法?

缓存从 pcap 捕获的数据包