Metrics

最近一个项目deadline很紧

不确定性也很大

老板让每两个礼拜一次汇报

在一两个月前就设定了metrics

最开始汇报只是简单的列表，做的和要做的事情

最近把metrics搞出来之后直接第一页放一个表，罗列六个关键的metrics

有了这几个e2e metrics

就看出数据不对劲，有gap或者insane

一层一层查

很快就发现了很多的问题

上游的，下游的，自己的

立马escalated，跟上下游沟通

所有的问题都并行的去解决

metrics也逐渐变好

项目成功的信心也越来越大

感觉以后项目都可以这样做

从简单的metrics出发，从头到尾抓住metrics

项目就会有很清晰的思路，priority，和方向

进展也会变快，效率变高

metrics就像是north star

当然，正确的metrics也很关键

如果专注了错误的metrics效果会适得其反

最近项目的一些经验

关于metrics

第一，e2e metrics 。每个component的metrics也管用。但是无法替代e2e。有了e2e metrics 才能做全局的优化。

第二，尽量跟ground truth比较。如果没有ground truth，就跟ideal比较。

第三，metrics要全面。一个metric只是木桶的一块板子。一个项目的成功必须要多个metrics达标。

第四，优先级。区分高优先级的metrics和低优先级。先把高优先级metrics搞对。把它当作一个优化问题。先解决大的gap。

关于执行

第一，e2e metrics dashboard。从一开始就得弄。不要放到最后弄。

第二，先把系统搭起来再说。e2e跑通。不管metrics 质量。先有了e2e metrics 再说。

第三，优化metrics。顺着metrics去查bug，去优化。不断的迭代。

最后，通用的metrics分类。

第一，quality, 比如accuracy, bias,

第二，infra ，比如delay，resources, slo, reliability

Rev 是另一个维度，暂且不表。