Microsoft，Amazon和Airbnb如何避免产品试验陷阱(VB Live)

 
Netflix每年都会进行数百次实验;令人兴奋的Airbnb每月运行超过500次，杰夫·贝佐斯(Jeff Bezos)说，亚马逊的成功来自其团队不仅每年或每月进行测试，而且每天进行一次测试。具有实验文化是一种竞争优势。
对于想要设计更多产品，更好产品以及更快速，更成功推出产品的公司而言，实验非常有用。这应该是成功失败的秘诀。不幸的是，这不是一项不失败的技术。
对于每次揭晓获胜者的A / B测试，都有一个善意的错误，一个非常常见的错误，一个典型的误解。突然，产品团队开始检查并意识到他们已经走上了完全错误的测试道路，而唯一的解决方法就是浪费几天甚至几个月的工作。那是浪费大量的时间，资源和金钱。
尝试使用错误的指标是产品团队最终会犯的最常见错误-当发生这种情况时，就好比使用功能强大的机枪直射自己的脚。如果您有非常具体的目标，这很容易-例如，增加对目标网页的转化。那是干切的情况。
但是，如果您的目标更加细微，例如增加用户参与度，改善用户体验或提高长期保留率，那么选择正确的指标就变得非常棘手。加上您选择的指标，无论好坏，都会对您的产品产生深远的影响。
您运行的测试还必须具有足够的功能来移动指标，否则您会发现自己只是在记录最重要的行为，甚至只是异常值。当您发现自己没有捕获所需的数据时，那是一次浪费的实验。当您花一些时间意识到要迭代的数据仅代表对实验造成的最剧烈影响时，您又陷入了困境。
错误地解释实验比根本不运行实验要严重得多。像所有这些错误或陷阱一样，这里一个小的携带错误会导致航天飞机飞入太阳。
但是您不能因此而阻止您，因为产品团队可能犯的最大错误就是解决您认为最优化和改进所需的最少测试次数。进行A / B少量测试只是一个很好的入门-但是为什么您要停在那里?你不应该
不幸的是，从没有实验到所有实验都不是容易的路。当您尝试扩展规模时，您的实验文化可能会逐渐消失，因为让您的团队了解实验的重要性是一回事。在公司范围内传福音是另一回事。没有更高级别的支持，您自己的部门可能会面临艰巨的挑战。
这些只是您跳入实验世界时可能会遇到的一些挑战，或者您可能已经面临的挑战。现在该找到一些解决方案了。立即注册参加此VB Live活动，我们将介绍产品团队遇到的一些最大的陷阱和挑战，以及如何应对每个挑战，并查看现实世界的案例研究以及Amazon，Airbnb和Google等巨头的重要收获微软。