随笔分类 -  数据清洗

分割数据的N种办法
摘要：一、使用MySQL函数进行分割 二、使用正则表达式进行分割 阅读全文
posted @ 2017-11-28 15:57 帆布鞋女孩儿 阅读(307) 评论(0) 推荐(0)
洗数据的那些坑
摘要：最近爬虫爬来好多数据，清洗入库过程中遇到一些小磕磕绊绊，现总结一下。 一、JSON字符串格式的数据 1.首先解析json字符串，并提取出相应字段，但每个json文本的字段不一定全都有，提取字段值时会出现因找不到key值而报错，此时可以用python的三元表达式，解析提取代码如下： 2.将解析提取字段 阅读全文
posted @ 2017-11-28 15:23 帆布鞋女孩儿 阅读(460) 评论(0) 推荐(0)