一法则,一定理,数据驱动管理必备理念
原创作者:程萃、雷晶晶
温馨提示:干货长文,阅读时长预计10分钟,文末有彩蛋哟
如何从隐匿着虚假信息、不良研究和糟糕动机的组织中挖掘可贵的数据?
我们梳理出运用管理数据必备的一个法则与一个定理,让“用数据优化组织行为”变得更可行和更务实:
👉运用大数法则,卸下对于全量统计的重担;
👉理解贝叶斯定理,放下一步到位准确统计的执念。
在纷乱的信息时代,人们好像已经失去一种认知和辨别能力,被动地接受着各种数据的信息“攻击”。
但是如果能够化被动为主动,将数据运用起来,可能会有意想不到的收获。在一个企业里面,数据之于管理,更是如此。
虽然管理数据的准确性和解读很容易引起争议,但倘若连统计数据都没有,甚至可能做出完全不正确的行为决策。
先解决有没有的问题,再解决好不好的问题。

我们曾经遇到一家企业,业务反馈研发对业务的支持能力不够,不能支持业务及时响应市场的需求。请注意,这是一个经验和感受上的反馈,我们并没有看到数据支持。
基于该反馈,我们首先聚集于“如何提高研发的交付效率”这个问题上。
随着我们辅导的深入,通过沉淀的管理数据,我们发现:
研发并没有业务感知的那么慢,好几个月交付的情况的确有,但不常见,统计上,属于极端最慢的15%;
研发交付效率的确有可以提高的空间,但总体来说,还算高效。反而是业务阶段的时效非常长,平均来看,甚至是研发耗时的两倍以上。也就是说,想清楚做什么所花费的时间,是实际做事情时间的两倍;
不管是研发侧还是业务侧,耗时最长的基本都是排队和等待,比如等待法审、等待过会、等待排期、等待发布……
有了这些数据,我们的重心转移到了业务与研发协作提效,以及业务产品与数字化产品梳理,最终也的确有效促进了业务与研发之间的协同。
如果没有具体数据支撑,我们很可能在非核心问题上浪费大量时间,并且还很难产生成效。
就像高考,我们英文考了120分,我们非常努力也只能提高到130分,努力十分,获得十分;回头一看,数学只有70分,稍加努力就提高到90分甚至100分,努力十分(甚至更少),就能获得二十分(甚至更多)。
可见,是否具备数据支撑,是事半功倍与事倍功半的区别。

这是一个企业的案例,再说一个大家都有体会的例子。
在组织的管理数字化进程中,我们通常会遇到和新冠数据一样的难题——出于对于数据的不信任,导致数据被认为不可用。
数据很重要,很多管理者对于数据的诉求也很强烈,可是,在我们刚开始看管理数据的时候,往往在一线会面对大量数据准确性的质疑:
职员:这个数据不准的!我们这个系统我知道,他们要用它只是为了上线而已!都不是按流程在走的,这个数据用不得用不得!
咨询师:这是我们团队近期的端到端时效统计……
职员:你是什么口径统计的?公式怎么算的?哪里取数的?数据清单在哪里?没有对清楚清单上的所有数据,我们没法使用这个统计值。
企业中类似这样的情景还有很多。
那么我们如何从充满虚假信息、不良研究和糟糕动机的组织中挖掘可贵的数据?

我们梳理出最有用的一个法则,一个定理,教会大家正确看待统计数据,让“用数据沟通”变得更靠谱和更有用。
卸下全量统计的重担
大数法则告诉我们,应该试着从大致准确的数据中来去分析问题。
然而实际工作中,很多人面对管理的统计数据时,第一反应是看清单,很容易就陷入对清单中具体样本的逐一分析中。
管理数据不是财务数据,拉开距离看问题更容易获得宏观的感受。
一方面,管理工作不像财务工作那样有非常清晰的标准和边界,很难生成绝对精确的数据;另一方面,绝对的精确管理数据,和总体准确的管理数据相比,提供的额外价值事实上是有限的。
譬如现在常用于衡量科技部门效能的时效数据,当它的统计值是10天和12天时,对于业务部门的直观感受来说并无太大区别,只有发生量级改变时,人的直观感受才可能有明显的变化。
这对我们的实际管理有什么帮助呢?
基于大数定律,在抽样和统计方法基本正确的前提下:
当我们有一些数据可以看的时候,就可以先看起来,尽管并不完全准确,但是一定程度上是可以反映实际情况的。就好比我们到一个陌生的地方,就算没有GPS,有一张手绘地图作为参考也是好的;
样本数据和总体是有误差的,但统计误差随着数据的积累会逐步缩小,不能因为一开始存在合理范围的统计误差就把数据视为不可用。更进一步说,即使个别样本点存在一些偏差、甚至错误,对整体的统计结果也不会有大的影响。
因为从统计学上看,随机产生的误差,不具有某种明确的倾向性,也就是不会都偏大或都偏小。在对大量资料进行整理时,这些大大小小的的偶然性误差往往会互相抵消。我们的样本还是可以帮助推测总体情况的。就类似于,虽然人有高矮胖瘦,列车载客都只会计算车厢可容纳乘客的总数量。
总之,千万不要因为个别样本误差就轻易质疑统计结果的合理性和价值!

在数据统计时,统计误差是常出现的情况,属于正常现象。我们首先应该避免的是统计方法或者对象的错误,譬如本应该统计测试缺陷的,把开发自测发现的缺陷也包含进去。诸如此类。
下面我们看一个具体的应用场景。
大数定律可以帮助团队确定合理的绩效目标,主要是通过对历史数据的分析和处理,从中找出一些规律和趋势,以此来确定合理的绩效目标。
总之,大数定律可以帮助团队更加客观和准确地确定管理目标,从而提高团队的工作效率和绩效表现。
但需要注意的是,数据分析和绩效目标的设定需要结合实际情况和团队的实际能力范围,否则可能会导致过高或过低的绩效目标,从而影响团队的工作积极性和绩效表现。

消除一步到位准确统计的执念
在蒂姆·哈福德的《拼凑真相》中,他提出了一个很有趣的观点,当观察数据时,你需要有两个角度:蠕虫视角和鸟瞰视角。或者我们可以简单理解为,主角视角和上帝视角。
人们倾向于把从自身视角看到的东西视为事情的全貌,心理学家把这叫作“天真的现实主义”,即认为自己看到的是没有任何偏差的实情。这种一叶障目的天真的现实主义会严重误导我们,让人对很多事物产生错误理解。现在时不时被讨论的“信息茧房”也是一个道理。
两个视角会给你展示一些不同的东西,这可能也成为你的难题:这两种景象孰真孰假?
这样的疑问其实非常好,它会让你踏上探究之旅。
我们发现由于抽样或统计方法的误用,或者数据分析角度的不合理,统计指标产生了误导;有时,我们也要承认自己的感知和经验欺骗了自己。我们明白了事情的缘由,数字和感知的不符也就可以理解了。但首先你要有这个探究的念头,也就是说,你要知道自己看到的是贝叶斯定理里的先验概率。
其根本思想是,我们一开始的所知有限,在信息不完整情况下做出的概率预测,也就是先验概率,可能存在偏差,但随着我们不断地观察和收集信息,我们就能不断校准我们的认知和预测,从而得出更准确的概率预测,也就是后验概率。
往大了说,这是承认所知有限,并愿意持续学习和改进的世界观;往小了说,这是管理上的OODA(观察-定位-决策-行动)的改进闭环。
举个例子,如果你相信某个团队的表现很好,交付速度也快,线上质量也好,你认为这个团队是在整个组织中的Top10,这是你的先验。
但当你得到了一份统计结果表明这个团队的交付速度其实在组织中只是中等,这是你的后验。
那么问题来了——此时你会花大力气去调整这个获取数据的系统,相信先验,完全忽略后验?还是综合参考两者,比如先依据自己的主观感觉对于团队排名有一个大概的判断,然后不断地校验统计本身是否是合理?

千万不要一上来就追求精确无误的统计,既没有必要,也不太现实。
实际上,数据只有在被观察了以后才能不断的校准,从而更好、更真实地反映实际情况。如果还没有校准就拒绝使用这些数据,无异于因噎废食。
是不是看起来还是有一点点抽象,我们再来结合定理举个例子:
某个企业的研发团队依据历史数据,其P85交付时效是114天,也就是业务提出一个需求后,它有85%的希望能在114天以内上线。
我们知道,这个数据很有可能不那么准,因为会受到各种因素的干扰,而且很多影响因素在持续变化。但有数据好过没数据,我们姑且把它做为一个先验概率。真实的情况可能是85%的可能性在130天或者100天上线。
但不管怎么样,这个数据足以帮助我们进行一些思考,比如,为什么需要这么长的时间?时间花在哪里?做什么可以帮忙加速?
后期你可以持续收集团队的各项数据,譬如团队人数,测试缺陷、代码质量等,不断调整影响因子,或者不断优化数据收集的方法,帮助提升样本数据质量。
随着持续关注,数据的可信度越来越来高。我们对这个统计结果越来越有信心,在保持当前团队规模和开发质量的情况下,需求提出后114天后85%的概率能上线。现在这是一个更加可信的概率数据,即使存在偏差,偏差的程度也降低了,真实的情况可能是85%的可能性在118天或110天交付。
这里我们可以进行的思考就更多了,比如缩小或扩大团队规模,对交付速度可能产生哪个方向的影响?如果提高质量要求,会对交付速度产生什么影响?
总之,贝叶斯原理可以帮助管理者更好地利用数据、评估风险、制定计划,并不断更新他们的认知。这将使他们更加敏锐地了解团队的情况,更好地应对变化。
近两年在研发效能提振的大潮下,各家企业已经开始有意识地关注研发过程数据的收集和使用。在实现数据从0到1的突破后,我们需要更加关注数据如何正确使用:
运用大数法则,卸下对于全量统计的重担
理解贝叶斯定理,放下一步到位准确统计的执念
以上是我们近期对于数据驱动管理的一些思考,也期望今后在关于数据思维在管理中的应用上和大家持续进行探讨和分享。
小彩蛋
1. 在查大数定律(Law of large numbers)和贝叶斯定理(Bayes'theorem)的准确名称时,发现大数定律是law,贝叶斯定理是theorem,而据说在数学定义中,law是指实验总结规律,属于归纳法,theorem是指由规律经过逻辑推演而进一步得到的结论,属于演绎法。
2. 观察者悖论告诉我们,不仅考核什么就会得到什么,而且观察也会通过影响被观察对象,带来结果的改变。所以,即使我们不考核某个数据,只是观察并发布一个数据,也会让团队产生改变。