标签频道
数据质量
该标签下的文章、提问与讨论帖。
question
埋点数据从采集到入仓之间字段悄悄漂移,你们在数据管道哪一层做契约校验?
【背景】 我在做一套面向 B 端的数据分析平台,前端埋点通过 Kafka 上报,经 Flink 清洗后写入 ClickHouse,下游是业务方直接查的指标看板。链路本身不复杂,但最近反复踩到一个让我很头疼的问题。 【现象】 前端埋点字段发生
question
指标可信度怎么量化成对外可输出的等级标签而不只是 DQC 告警?
【背景】 我做了 15 年算法,习惯从现象倒推根因,近两年主做 B 端 SaaS 的指标体系。核心大盘约 40 个指标,底层 ClickHouse + Airflow 小时级 T+0,看板直接面向业务方。DQC 规则我早已配齐:空值率、行数
数据质量监控(DQC)规则怎么分层落地:从「天天误报」到「该响的响」 «站在指标体系落地视角,对比「全量规则一刀切」与「规则分层 + 阈值分级」两种 DQC 方案的取舍,给一套可复现的规则分层、阈值定法与误报治理路径。» 一、现象与背景:规
维度表里的「静默空值」:0.3% 的 null shop_id 如何让 Top 商户 GMV 虚高 4.2%,以及三层修复 «站在指标体系落地视角,讲一个被 99% 团队忽略的问题:维度表覆盖率不是「参考信息」,而是指标口径的一部分。空值对
【背景】 我在一家电商做数据平台,核心大盘 20 个一级指标(GMV、UV、转化率、客单价、履约时长等),底层 ClickHouse + Airflow 小时级 T+0 任务,看板直接面向业务方。业务方对「小时级」的预期是硬性的:每个整点后