elasticsearch - 如何在 Elasticsearch 中不包含敏感数据？

Question

我正在为公司安装ELK堆栈，我的堂兄也为他的公司使用了ELK堆栈，他是一名程序员，所以我问他是否购买了Xpack，他说没有，因为他处理的mysql日志没有值(value)。我知道我可以购买XPack或使用Nginx添加身份验证，但是让我们假设我不会进行任何身份验证，就像许多 flex 用户一样，我对这种情况有两个问题。

因此，我有将MySQL日志发送到logstash的文件拍子，它将日志输入到 flex 搜索，并且在Kibana中完成了分析。

如何确保在进行有意义的分析时，没有任何有值(value)的信息出现在日志中。我的公司开发了一个ERP，并且有许多公司作为客户，因此至少要在日志中包含公司ID和用户ID才能拥有任何有意义的数据，这不是敏感数据吗？

如何确保没有未经授权的用户发送发布请求以进行 flex 搜索或访问Kibana？您是否在本地而不是在互联网上运行它们？

在将任何敏感日志发送到Filebeat之前，您是否对其进行过滤？

我只是想了解有多少用户无需身份验证就可以运行ELK，同时仍然能够获取有意义的数据。

。

Answer 1

How to make sure that no information of value end up in the logs while still having meaningful analytics. My company develops an ERP, and has many companies as customers, so at the very least, you'll have the company ID and the user ID in the logs in order to have any meaningful data, isn't this considered sensitive data?

例如，如果您不希望将敏感数据存储在elasticsearch中，则需要对其进行过滤或匿名化，您可以使用logstash过滤器来创建结合公司ID和用户ID字段的指纹，也可以删除任何字段邮件中的敏感数据。

How to make sure that no unauthorized user send a Post request to elastic search or access Kibana? Do you run them locally, not on the internet?

如果没有身份验证，这几乎是不可能的，您将需要完全控制谁知道您的Elasticsearch实例以及谁可以访问它，如果除您之外的其他人可以访问，他们可以向您的实例发送请求，以避免您可以在自己的防火墙上使用防火墙服务器，并且仅允许访问特定的IP。

即使您采取了一些预防措施，也不建议在生产环境中运行没有任何访问控制权的Elasticsearch实例，这非常冒险。

您应该使用访问控制方法，它可以是X-Pack，NGINX或Search Guard之类的插件。