我有一个网站，我收集了很多关于用户行为的日志。他们什么时候登录，他们看什么产品，他们多久看一次等等。我想看看我是否可以基于此进行聚类分析，但我不确定如何合并多个变量。
具体来说，我的问题是当不同的变量对不同的群体更重要时，如何衡量它们的重要性并将不同的群体聚类。例如，我知道那些查看相同产品的人可以分组，但也有一定比例的用户因为工作原因登录购买产品，他们倾向于每周或每月在同一时间登录，所以对他们来说我认为购买时间的一致性很重要。
我不擅长统计，但我决心学习 - 我在哪里可以学习如何解决这个问题？我一直在研究 k-mean 和神经网络，但还不清楚如何将其实现到这个问题上。
最佳答案
好吧，这个答案比计划的要长，但这对我自己来说是一个很好的复习:
这里我假设了很多事情，例如那个
- 网站访问的持续时间很短(几分钟)。
- 每个用户只关心一个任务
- 您将每个 session 视为黑盒交易。
您应该从数据集中创建自己的新属性。如有必要，创建一堆属性，例如“logs_in_on_workdays”、“logs_in_on_weekend”、“logs_in_morning”、“logs_in_afternoon”、“session_duration_minutes”、“logs_out”等 - 这是基于日期值。
关于您的项目不能说太多。 “looks_at_dairyprod”、“looks_at_softdrinks”……怎么样？
也许您还可以使用 user_agent 字段“browser_type”、“os_name”、“is_mobile”等。也许“is_authenticated”、remote_host_type (“is_bot”) 等 - 无论您的日志文件允许什么。
也许您可以将经过身份验证的用户与其他数据集结合起来，以创建更多属性，例如“is_male”、“is_employee”等。
您项目中的数据整理部分肯定会很有趣。 最终结果将是一个包含数值的大表格，大多数为 1 或 0 值。
如果您包括其他数字属性，例如“年龄”、“持续时间”，这些数据应规范化为 0 到 1 之间的值。
然后您可以使用 kmeans 算法运行聚类分析，参数化为 k = 10, 11, 12... 20。
您对 k 合理值的最终选择取决于您的要求(您想要找到多少个集群？期望值是多少？你有异常值吗？例如，对于 k =5 ，找到 1 个有 36000 个用户的集群和 4 个每个有 100 个用户的集群有意义吗？那么你应该增加集群的数量并希望大的是分割)
您的集群分配必须连接回原始数据集表 myview。然后你做交叉制表。在 R 中，您可以通过运行如下命令来执行此操作:
(clust2 <- data.frame(sapply(colnames(myview),function(x){
tapply(myview[,x], km20$clusternum, mean)
})))
生成的表格(下例，k=20)将为您提供有关数据结构的提示，但不是确定的答案。
但是，处理 kmeans 聚类的结果，您可以回答如下问题
哪个集群最符合“经过身份验证的用户在工作日上午进行的定期站点访问”的描述？
## ClusNo Duration Morning Afternoon Periodic Weekd Authenticated Age
## 1 840.0 0.0000 0.0000 1.0000 0.9510 0.0000 48.49
## 2 9335.3 0.3515 0.4485 0.1576 0.6333 0.6333 00.00
## 3 744.7 0.0000 0.8410 0.0000 0.0000 1.0000 28.01
## 4 621.4 1.0000 0.0000 0.0000 0.9975 1.0000 50.14
## 5 617.1 0.0000 0.9871 0.0000 1.0000 1.0000 40.34
## 6 844.8 0.0000 0.9641 0.0000 0.0000 0.9648 49.72
## 7 689.1 0.0000 0.0000 1.0000 0.9941 1.0000 46.77
## 8 729.4 1.0000 0.0000 0.0000 0.9935 0.0000 48.79
## 9 680.7 0.0000 0.9817 0.0000 1.0000 1.0000 54.81
## 10 734.6 0.0000 0.0000 1.0000 0.0000 0.7328 30.73
## 11 586.0 1.0000 0.0000 0.0000 1.0000 1.0000 30.18
## 12 772.1 0.0000 0.0000 1.0000 1.0000 0.0000 28.20
## 13 673.8 0.0000 0.0000 1.0000 1.0000 1.0000 28.37
## 14 646.4 0.0000 0.9226 0.0000 1.0000 1.0000 27.16
## 15 876.1 0.0000 0.9331 0.0000 0.0000 0.0000 32.37
## 16 687.5 1.0000 0.0000 0.0000 1.0000 0.0000 28.93
## 17 767.7 0.0000 0.9900 0.0000 1.0000 0.0000 49.33
## 18 748.6 1.0000 0.0000 0.0000 0.0000 0.6540 34.10
## 19 738.6 0.0000 0.9503 0.0000 1.0000 0.0000 29.03
## 20 45891.4 0.2020 0.1212 0.5758 0.8586 0.7273 00.00
哪些集群可以描述为“发生在工作日晚上的访问时间比平均访问时间短(< n 分钟)”？
还有很多很多。您必须使用商业知识来选择有趣的属性并提出正确的问题。
也许您会发现被忽视的集群，或有关集群感兴趣的响应变量(此处为年龄)的提示。这就是基本聚类分析为您提供的。
关于algorithm - 基于多个变量对用户进行聚类，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30538779/