我需要使用 tensorflow 开发自动编码器,当我检查文档和教程时,我可以看到许多带有图像数据和 MNIST_data (预处理的数值数据)的示例。
在我的例子中,数据是文本格式
喜欢,
uid orig_h orig_p trans_depth method host
======================================================================
5fg288 192.168.1.4 80 1 POST ex1.com
2fg888 192.168.1.3 80 2 GET ex2.com
那么如何将这些数据转换为 tensorflow 接受的数字格式。我在 tensorflow 教程中找不到任何示例,
我是 tensorflow 初学者,请帮忙。
更新
根据下面的说明,我引用教程here创建了单词到向量的映射。
pandas 数据框中的输入
host method orig_h orig_p trans_depth uid
0 ex1.com POST 192.168.1.4 80 1 5fg288
1 ex2.com GET 192.168.1.3 443 2 2fg888
和
Bag of word ---> ['5fg288', '2fg888', '80', 'GET', '443', '1', 'ex2.com', '192.168.1.4', '192.168.1.3', '2', 'ex1.com', 'POST']
现在,对于每个单元格,我都有像
这样的值数组192.168.1.4 ---> [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0]
ex1.com ---> [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0]
80 ----> [0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]
那么我如何 reshape 这些数据以提供 tensorflow
应该是这样的
data = array([
[[0.0,...],[0.0,...],[0.0,...],[0.0,...],[0.0,...],[0.0,...]],
[[0.0,...],[0.0,...],[0.0,...],[0.0,...],[0.0,...],[0.0,...]]
])
即每个特征都是一个float数组,单个样本中有6个特征。这可能吗,
最佳答案
Tensorflow 接受 numpy 格式的数据。可以使用 df.as_matrix() 函数将 Pandas 数据帧转换为 numpy。但问题的关键是如何将这些不同的数据类型转换为神经网络(或任何机器学习方法)的连续数字表示。
答案(链接到下面)提供了一些对 sci-kit 文档的有用引用,其中讨论了详细信息,数量太多,无法在此处重写:
Machine learning with multiple feature types in python
阅读该指南后,您的某些数据将很容易转换,例如看起来是分类数据的 trans_depth
orig_p
和 method
。在这种情况下,您将它们转换为 {1,0} 值的多个特征,表示该类是否存在,例如,orig_p
可能表示为两个特征 x1 和 x2 。如果 orig_p=80
,则 x1=1
,否则为 0;如果 orig_p=443
,则为 x2=1
,否则为 0 。
您可以对主机执行相同的操作,但您可能必须考虑如何以及是否真的想使用主机。例如,如果您认为它很重要,您可以定义一个仅识别 .com
、.edu
、.org
等域的分类功能,因为单个主机名可能太多而无法表示。
您还可以考虑根据某些数据库(如果存在这样的东西)将主机名聚类为主机类别,并使用主机名所属的集群作为分类特征。
对于 orig_h
,您可以考虑按区域对 IP 进行分组,并为每个区域定义一个分类特征。
uid
看起来每个用户都是唯一的,因此您可能不会使用该数据列。
您需要根据每个数据点来考虑这一点。从我链接到的文档开始,但总的来说,这是一个标准数据挖掘的问题,任何关于数据挖掘的好书对于进一步理解这些概念都是非常宝贵的,这是一个通过谷歌搜索在线找到的简单书籍:
我还将包含以下引用资料,因为他们提供了我所见过的最好的教程,并且他们的 ML 介绍部分包含一组非常有用的文章。这与问题有点相切,但我希望它会很有用。
关于tensorflow - 自动编码器的 tensorflow 输入数据字符串,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49730248/