How Indeed Uses Proctor for A/B Testing

原文链接：https://engineering.indeedblog.com/blog/2014/11/how-indeed-uses-proctor-for-a-b-testing-2/

1. Proctor at Indeed

在前一篇博客文章中，我们介绍了开源AB测试框架Proctor提供的特性和工具。接下来，我们分享将Proctor集成到开发流程中的一些细节。

1.1 可定制化的Proctor Webapp

TODO

1.2 使用Jira进行问题追踪

TODO

1.3 测试定义文件

我们把测试定义存储在一个叫“proctor-data”的项目仓库中。项目中每个测试定义包含一个文件：test-definitions/<testName>/definition.json

最频繁的是通过Proctor Webapp对测试定义进行修改，改webapp对定义文件中的json进行修改，并将改动（代表登录用户）提交到版本控制系统。

proctor-data项目中，测试定义文件复制到了两个分支：qa 和 production。当一个测试定义版本提交到qa分支时，整个测试定义文件都被拷贝上来，并提交（而不是个diff）。类似的，production分支也一样。由于每个测试定义有一个文件，每次都提交整个文件，就避免了冲突，维护了json文件的完整性。

1.4 构建、部署测试矩阵

1.5 应用程序中的Proctor

1.6 测试组成员

1.7 不断变化的桶分配

1.8 helpers

2. 适用于Indeed，也适用于你