neutral是一个很重要的指标

代码做了改动，tests case不变，全部通过，就是behavior neutral，没有问题

改动infra，end to end的数据结果没有大的变化，neutral，没有问题，可以launch

无论是底层依赖的东西改变或者过时，还是速度太慢需要提高效率，还是重构为了让代码更简洁，这些都需要改变

但是改变会让人害怕，因为可能会引入bug，可能会导致系统异常

所以一个完善的comparison metrics非常重要

有了neutral的comparison metrics，就可以放心的launch

最简单的metrics，就是相同的输入，输出应该是一样的。

再精细一些，比较slice层面的difference

再深入一些，比较每个关键节点输出的difference

这些都需要一套完善的数据收集系统和分析对比工具

这些工具就像是眼睛

没有眼睛，就是瞎子，不敢走路

<
Previous Post
reuse, tools, automation and scalability
>
Next Post
cache