掌握「数据清洗与整理」,关键是把知识变成可执行的计算与检验动作。下面这套步骤可以直接照着做。
操作步骤
- 第 1 步:先明确缺失机制再决定处理方式。
- 第 2 步:异常值要判断是错误还是真实极值。
- 第 3 步:清洗过程必须留痕可追溯。
每一步在防什么错
- 顺序不能颠倒:先明确缺失机制再决定处理方式。 是后面所有步骤的前提。
- 中间要让结论可检验:异常值要判断是错误还是真实极值。
- 最后用反例自查:把异常值一律删除而不加判断。
配套工具与术语
重点调查、统计调查、二手数据、抽样调查、抽样框。
自查口诀把「数据清洗与整理」的判定过程写下来,能写出完整的第 1 到第 3 步,就说明真的掌握了;只能说出结论,多半还是背下来的。