php - Web 应用程序的 PHP 和 MySQL 统计报告的建议

Question

背景:

我在我的小公司“继承”了一个 php webapp 并且 经过多年的唠叨终于得到了 去扔掉意大利面条代码并重新开始。

我们想记录在系统中进行的每个操作，例如:

• 用户 X 浏览了项目 Y
• 用户 X 更新了项目 Y
• Z 城市的新商品 Y

然后提供不同分辨率的图表(日、月、年) 在系统中完成的操作。

在以前的版本中，我们有一个包含 20,000,000 条记录的表，因为 2005 所以这会让你了解我们已经拥有的数据量 有，这只是众多统计数据中的一个。

实际问题:

您对构建接近实时的网站有何建议 系统创建此统计信息？

注意事项:

1. Google 的可视化 API 已经涵盖了绘图
2. 我不反对使用任何 NoSql 数据库或 消息服务器、crons 或任何获取的东西 工作完成，但更喜欢 mysql/php 解决方案
3. 我目前的思路是 自动为每个创建一个表 我要保存和创建的统计数据 几个汇总表(按月、按天、按年) 缓存结果。
4. 我知道这是一个广泛的问题，但欢迎提出任何建议

Answer 1

如果所有用户都必须注册，我会采用完整的标准化解决方案。

USERS TABLE            OBJECTS TABLE
---------------        -----------------     
user_id (primary)      object_id (primary)


USERS_TO_OBJECTS TABLE
--------------------
user_id (index)
object_id (index)
time (index)
action (index)
? object_type (index) // could be useful to speed things up

此设置可能会在绘制图表时为您提供最大的灵 active ，并且速度也会非常快，因为如果您不需要用户或对象，您可以将其省略。

编辑:

假设城市 X(id 9876)由用户 123(id 1234)更新...

1234    - user_id (the user that did the action)
9876    - object_id (the object where the action was done)
xyz     - time
updated - action type (so that you select only specific actions)
city    - object type (so that you select only specific objects)

我已经用 4000 万行填充了这个表，结果是可以接受的。

0.002 秒，用于对过去一周更新的城市数量进行简单计数。数据是随机插入的。

编辑2

如果你发现自己有一个非常大的表，你可以求助于 MySQL 分区，你的模式是完美的。我真的不知道您将如何使用这些表格，但您可以:

按范围划分。按日期组织分区。每个新月左右，您都会有一个新分区。

按键分区。按 Action 组织分区。每个操作都会转到适当的分区。

可以查看more on partitions on MySQL's site和 this article gives you some detail进入微调分区。