通过业务指标监控产品质量

日常工作中我们经常见到做某些项目的规划会&总结会上会有一张张各式各样的数据图表，五花八门的图表上承载着各种各样的数据，这些数据都是用来衡量当前业务的现状及未来想要达到的目标****。所以当我们要衡量一个业务、一个项目、一个需求带来了多少价值时，也一定需要一定的数据来进行衡量，如果没有数据、没有衡量标准那也就无法证明价值，那所有的投入自然也就变得没有意义。这也就是为什么我们需要关注业务数据的原因。

0.什么是指标

指标就是用某个统一标准去衡量业务，这个统一标准就是指标。

1. 什么是数据指标

数据指标有别于传统意义上的统计指标，它是通过对数据进行分析得到的一个汇总结果，是将业务单元精分和量化后的度量值，使得业务目标可描述、可度量、可拆解。

数据指标需要对业务需求进行进一步抽象，通过埋点进行数据采集，设计一套计算规则，并通过BI和数据可视化呈现，最终能够解释用户行为变化及业务变化。常用的数据类型包括：用户数据、行为数据、产品数据。

2.常见数据指标

image.png

image.png

image.png

用户行为数据，可以让产品及运营人员对用户的行为路径和喜好模式有一个比较深入的理解。剖析用户的行为特征，助力用户价值的提升，让产品及运营更聚焦于产品细节的优化，更好地进行监测，提升用户留存及转化。

3.如何把质量保障和业务结合到一起

在业务发展的不同阶段目标不同、关注点不同，那么对应的质量保障建设方向也不同。

image.png

image.png

业务发展初期：

业务初期，主要的核心指标还是功能的拓展，往往会围绕几个核心功能做从0到1的建设。这时我们面对的用户较少，业务场景也相对单一，用户的操作路径对相对简短。这时对用户来做最重要的还是业务的实用性、易用性。我们想节食一个新朋友时往往会希望给他人留下一个好的第一印象，将自己的优势简单明确的表现出来。做产品也是一样，第一印象很重要。这个时候就要求我们的产品功能操作方法明确、我们的软件足够稳定，让用户觉得我们是一个相对好用且稳定的app（过于简陋的体验会让用户觉得我们不是什么正经软件）。

这个时期对质量的要求往往比较简单，主流程可用，交互便捷，服务稳定即可。相对的可观测指标也比较简单，客户端的crash率、服务的健康度、核心功能的PV、UV等，比较宽泛的指标。这类指标其实只具备一定的参考价值，实用性不强。因为即使真的出现问题也很难直观的找到问题所在。

业务发展中期：

当业务发展到一定阶段时，我们的业务有了一定的常驻用户，提供的业务功能也在不断丰富，尝试持续。这个时候我们的业务场景已经相对复杂，用户的操作路径也变得不再可控，而且已经有一些用户开始愿意主动反馈问题了。在这个阶段我们往往会发现需求会呈井喷式上线，这是为了丰富我们的业务功能吸引更多的用户，更好的支持更多的用户需求。这时的业务指标维度也会变得更细，往往会以核心业务为维度输出一些度量指标。比如最直观的，成交量、成交额、转化率、核心业务的使用频率、核心功能的日均使用时长等等。因为这个阶段的会产生大量的新功能，没有人可以预测那些功能会被用户所喜爱，没有人用的功能就不能产生价值，上线之后也用不了多久就会面临下线的结果。公司的物质资源和人力资源是有限的，为了能产生更高的价值、同时也为了证明上线的功能是有价值的，就会产生更多的指标来证明这件事。

对质量保障来说这个时期更要明确目标，为了不让我们的质量保证工作不因业务功能的“下线”而付之东流。我们再一个需求上线前就要对他有一定的预期，这个功能是不是重要的、是否具备持续发展的可能、后续规划是什么样的。挑选这些可能产生价值的需求，为了不让质量问题影响业务收益，提前做一些质量保障的建设。

业务发展后期：

到了这个阶段，所有业务基本稳定，不再会有大量新功能的上线，更多的是历史功能的优化。此时用户已经有了较深的用户习惯，随意上线新功能、较大的调整、甚至是某个常用功能的小改动，很可能引起用户的负反馈，不仅没有吸引新用户反而带来了老用户的流失。同时因为线上的业务场景和用户数量都比较庞大了，即使是一个非核心功能产生的问题也可能影响相当多的用户，带来较大的负面影响。

这个阶段的功能上线多以灰度策略为主，此时埋点变得尤为关键，为了证明新的功能是有正向收益的，线上同一时期可能会有多组实验，为了对比每组实验的效果，通过埋点转化而来的。此时对新功能的质量保障手段也变得尤为重要，任何一个小问题都会影响对实验结果的判断。