4月23日总结

今天做了大数据的整理清洗分析与提取

重复记录清洗，分析结果表中是否存在重复的数据记录，主要是地域和成果名称相同即判定为重复记录，保留一条记录，并补充其他重复记录中独有的数据字段内容，再删除其余记录。

在结果表中追加年份和地域两个标准维度字段，如果原始表中存在该字段则直接转化成维度字段，若不存在则根据单位名称确定地域字段内容，天津科技成果表中不存在年度字段，则直接将年度维度字段确定为2015年。