进行 A/B(拆分)测试有两种主要的思想流派:
基于 Javascript 的解决方案,例如 Optimizely、Google Analytics Content Experiments。 服务器端解决方案,例如 Django-AB、Splango 和 django-lean。 (另外,写你自己的。)我的理解是,基于 Javascript 的解决方案在“哪个颜色按钮转换得更好”方面非常出色,但对于切换整个页面布局并不是那么好,并且对于尝试大型功能更改(例如漏斗中的页面顺序)完全不可行。
这使我走向服务器端解决方案。我并不热衷于编写自己的代码,并且只有在没有其他选择的情况下才会这样做。我试图通过改进我网站的核心功能来增加值(value),而不是通过创建更好的拆分测试框架。
我发现的用于拆分测试的 Django 应用程序是各种未维护、未记录、记录不正确以及与 Django 1.5 不兼容的混合体。这让我感到惊讶,因为 Django 和 Python 社区似乎非常关注良好的文档。我也很惊讶我尝试过的所有测试框架都没有与 Django 1.5 兼容——测试在 Django/Python 世界中是不是像在 Rails 中那样是核心理念的一部分?
这是我发现的:
斯普兰戈 https://github.com/shimon/Splango -- 与 Django 1.5 不兼容(尽管我发现的大多数兼容性错误都很容易修复)。自 2010 年 10 月以来基本上未受影响,除了 2012 年 8 月的修复,该修复声称确保模板包含在安装中。由于通过 PyPI 安装 Splango 时模板不会包含在安装中,因此修复程序不起作用或未提交给 PyPI。文档在很大程度上是准确的,但并未完全涵盖如何设置测试和获取报告。它告诉您如何配置模板来收集数据,但似乎在管理界面中需要一些额外的步骤,这些步骤完全没有记录,而且我不确定我是否正确地完成了这些步骤。 Django 精益。原文在 https://bitbucket.org/akoha/django-lean自 2010 年 7 月以来一直没有更新。在 https://github.com/anandhenry2002/django-lean 处有一个明显的“祝福” fork 。自 2012 年 5 月从原版复制过来后,就没有更改过。原始文档在某些方面是不正确的,因此无法按照示例进行操作。 (虽然你可能会像我一样糊里糊涂。)新版本的文档有格式问题,很难在 github 上阅读。 (这似乎是因为它是旧项目中未更改的文档,并且 BitBucket 语法在 Github 上不起作用。)自 2012 年 7 月以来,django-lean Google Group 一直没有消息。 Django 迷你精益 https://github.com/DanAncona/django-mini-lean -- 最近于 2013 年 2 月更新,但未记录。 更瘦 - https://bitbucket.org/brianjinwright/leaner -- 最后更新于 2012 年 7 月,没有文档。 Django-AB -- 最后更新于 2009 年 5 月。不是一个包,不能通过 PIP 或 PyPI 安装。将结帐放入我的 django 应用程序文件夹(并将文件夹重命名为 ab)并按照安装说明进行操作后,我在加载模板加载器时出现错误,我没有进一步追踪。 到目前为止,Splango 似乎是赢家,因为我实际上已经能够让它或多或少地工作(通过手动安装模板,然后编辑它们以修复 Django 1.5 的不兼容性)。
任何人都可以指出我遗漏的任何内容吗?