2026年8月28日 · 阅读约15分钟
上海市浦东新区张江高科技园区
先说说我近两年常遇到的一种情形。
一家公司投入数百万元进行数据治理,制定了标准、搭建了平台、并完成了一轮历史数据清洗。验收会议上,演示文档相当亮眼:数据完整率从62%提升至96%,一致率从71%提升至94%,还额外获得了一项行业奖项。
半年后回访时,业务部门的反馈却是:“数据仍然不准确,我们还是自己用Excel处理。”
问题究竟在哪里?
如果只盯着质量指标,这个项目算是成功的。但换个角度观察就会发现——那些干净的数据,存放在数仓的第三层。业务部门想要获取它们,需要提交工单、等待排期、跨越两个部门进行审批。等数据到手时,那场促销活动早已结束。
质量达标,距离遥远,时机已过。三个因素中,只有一个得到了认真对待。
数据的价值,从来不是数据本身固有的特性。
它由质量、距离、时间这三个因素共同决定。我称支配这些因素的规则为数据的三大定律。
你是否考虑过这样一个问题:你现在处理的数据,早已不是最初的那份数据了。
为数据添加版本、年龄、生命周期后,你会发现它会老化、分裂、被复制、被修改。一份数据从诞生那一刻起,只要开始流转,它就不再是原来的它了。
这就是数据惯性定律:低质量的数据一旦进入流通环节,它产生的影响无法回溯,也无法避免。后续的清洗、建模工作,都只是在为最初的那次“疏忽”不断买单。
我常将数据质量比作分娩。在生成时多花些力气,得到一个健康的结果,远比事后一点点修补要划算成千上万倍。
用公式表示,质量变量Q ∈ [0, 1],它衡量的是数据**“出生即健康”**的程度。注意其特性:源头污染是不可逆的折损。这是一个只能下降、很难提升的变量。
这条定律打破的误区是:“事后能洗干净”。
典型症状很容易识别——同一个字段反复清洗,始终无法彻底干净;每次治理项目结束后,半年又恢复原状。因为污染源没有改变,你只是在不断稀释下游问题。
行动指向:将治理动作前置到业务源头,而不是前置到入湖那一刻。 字段在哪个系统里首次被录入,治理就应该在那里进行。
数据越集中越有价值?
恰恰相反——离业务越远,它就越不值钱。
数据每远离业务现场一层,价值就衰减一次。用公式表示为V(d) = V₀ · e^(−λd):V₀ 是数据在业务现场产生瞬间的价值,d是距业务现场的层级数(业务系统 → 采集 → 清洗 → 建模 → 报表 → 决策),λ是语境衰减系数。
为什么会衰减?因为通用性和价值,天生互斥。
你将它抽取得越干净、越通用,它赖以产生价值的业务语境,就丢失得越多。等到它被抽象到完全脱离业务语境时,保留下来的是形态,流失掉的是意义。
这条定律有四条推论,每条都能在企业中找到对应实例。
推论一,中台悖论。 数据中台为复用而生,但复用度最高的那一层,单点价值最低。这是其设计目标决定的,并非实施不到位。
推论二,口径僵化。 离业务越远的口径,越没人敢改,也越没人敢用。最终变成一份人人都能背诵、但无人信任的数字。
推论三,成本放大。 在下游补救数据质量的成本,等于在上游节省的成本乘以经过的环节数。这与第一条定律是同一件事的两面。
推论四,最后一公里。 数据九成的价值,只产生在回到业务动作的最后那一公里。
行动指向:把指标定义权还给业务。 不是让业务来评审IT的指标,而是让业务自己定义、自己修改、自己承担责任。
数据越新越值钱?
错。它实际上有两个黄金期。
公式是V(t) = A · e^(−αt) + B · (1 − e^(−βt)),两项相加,形成双峰。
第一个高峰在产生的瞬间——那时它还能影响结果。决策窗口关闭后,价值断崖式下跌,α 是业务节奏,节奏越快,衰减越猛。一个实时风控模型,如果算出结果时交易已经完成,其准确率再高也没有意义。
第二个高峰在足够久之后——当你积累足够长的历史数据,它就能用于建模、归因、判断趋势,价值二次上升。β 是历史厚度,厚到什么程度能释放价值,取决于你要回答的问题。
麻烦的是中间那段。既不新鲜,也不够老——这就是价值的断层带。
多数企业的数仓中,80%的存储成本,压在这段价值最低的数据上。
这是最常见、也最不易被发现的一种浪费。
还有一条容易被忽略的推论,我称之为连续性溢价:历史数据的价值在于“连续”。断掉一年的历史,损失远不止1/N,因为规律推断直接失效——你无法用一份有缺口的序列来判断周期。
行动指向:分层存储不应只按“访问频率”设计,而应按时间价值曲线设计。 另外三件事现在就能做:实时化投入先看决策窗口长度,只有窗口以分钟计的业务才值得构建秒级链路;归档策略要保留一条低成本但可回热的复活通道;别为了节省存储费用而删除历史数据,那是最昂贵的一种省钱方式。
将三条定律合并,数据的价值函数如下:
V = Q × D × T
展开写是V(d, t) = Q · V₀ · e^(−λd) · [A·e^(−αt) + B·(1−e^(−βt))]。
注意中间的符号:是乘号,不是加号。这一点至关重要。
如果是加法,你可以用一项的长处去弥补另一项的短板。但乘法不行。
质量再好,离业务太远,价值仍趋近于零——一份完美干净、却躺在数仓三层之外的表,没人使用,价值就是零。距离再近,过了决策窗口,价值归零——实时计算再准确,等你算出来,促销已经结束。既不脏也不远,但卡在断层带,价值最低——这条最隐蔽,也最耗费资源。
由此得出一个不太舒适的推论:数据治理不能“单点突破”。
很多团队的失败正源于此。他们将质量治理做到了90分,但数据离业务三个层级,Q = 0.9,D = 0.1,相乘结果只有0.09。投入产出比极差,然后得出“数据治理无用”的结论。
这其实是最小因子定律(李比希定律)在数据领域的映射:三个变量中最低的那个,决定了整体价值的上限。向另外两个变量投入资源,天花板不会改变。
四条实操建议,按顺序执行。
第一,先诊断,别先立项。 将Q / D / T三个变量分别评分,找出你团队当前最低的那个。这一步耗时不超过两周,但能节省一年的预算。
第二,最低的那个,就是当下唯一值得投入的方向。 不是“重点投入”,而是“唯一”。其他两个维持不恶化即可。
第三,不要同时铺开三个变量。 那等于将预算分散在三张桌子上,每张桌子都不够用。
第四,每半年重新诊断一次。 因为最低的那个变量会变化。质量提升后,距离往往成为新的瓶颈——这其实是好事,说明前一阶段取得了成效。
三条定律速查,建议保存下来:
[图片:数据三大定律速查图]
讲了三条定律,其实说的都是同一件事:数据的价值,从来不是它本身固有的。
它是质量、距离、时间三个变量的函数。而治理的全部工作,就是让这三个变量同时朝有利的方向移动。
回到开头的企业。它的问题不在于投入不足,而在于只投资了三个变量中的一个,却期望整体价值翻三倍。乘法世界里没有这种好事。
所以下次再有人问“数据治理到底有没有用”,我建议先反问一句:你团队现在最低的那个变量,是哪个?
答不上来,说明还没开始。
你所在的团队,三个变量里最低的是哪一个?评论区聊聊。
附一句:这三条定律,我各录制了一段约40秒的口播版,已发布在视频号上。想快速了解的朋友可以去那里听;想看推导和落地细节的,这篇内容都涵盖。
本文来自微信公众号“数据驱动智能”(ID:Data_0101),作者:王建峰,36氪经授权发布。