第4章初步整理
第4章初步整理(第5/5页)
样例。但这个风险点,我会在数据说明文档里重点标注。”
“可以,标注清楚。就这样,快去。”王海挥手。
陈默回到座位,看着屏幕上那一片混乱的编码。他新建了一个“编码映射与问题记录”的子文件,详细写下了问题描述、王海的处理意见、以及自己将采取的具体步骤。然后,他修改清洗脚本,增加了按照旧码表映射、无法映射的归类为“zz_unknown”的步骤。脚本运行,看着一行行数据被处理,那些千奇百怪的编码被归入“未知”类别,他心里那点不安感并没有消失,反而像石头一样沉下去。
他看了一眼初步统计,“未知”编码的交易记录,占了总交易笔数的接近百分之十五。比例不低。
他继续工作。第三天晚上,他加班到十点多,终于将几个核心文件初步清洗完毕,生成了第一版“干净”的基础数据集。他按照要求,生成了数据概览报告,包括数据量、字段说明、缺失值比例、异常值处理情况,以及那个醒目的“‘交易类型编码’未知比例:14.8%”的红色警示框。
他把数据集、报告、以及详细的清洗过程记录文档打包,在第四天上午一上班,就发给了王海。同时在邮件正文里写道:“王组,天晟数据初步清洗完成,已发附件。核心问题已在报告中标红。请查收。”
几分钟后,王海回复了邮件,只有两个字:“收到。”