随笔分类 -  大数据

对大数据hadoop体系和spark体系的学习
数据分析之数据初级分析-分类(上)
摘要:补充关键词 步骤 sql语句清理数据库xxxx字段中的空格(1h) update aaaaa set `xxxx`=replace(`xxxx`,' ',''); update aaaaa set `xxxx` = replace(replace(replace(`xxxx`,char(9),'') 阅读全文
posted @ 2020-03-14 02:14 生长的力量 阅读(186) 评论(0) 推荐(0)
数据分析之维度标准化
摘要:1、python爬虫requests的简单实现 2、访问高德地图API,返回查询信息 曲折实现的原因 经过本人对官方文档的demo进行调试,有些地址直接地理编码,返回的结果没有行政区域 所以曲线救国,采用了先获取该地址的经纬度,再获取该地址的行政区域和编码 实现步骤 (1)输入地址,返回经纬度 (2 阅读全文
posted @ 2020-03-13 01:37 生长的力量 阅读(758) 评论(0) 推荐(0)
大数据同步技术datax学习和使用
摘要:学习花费2h 一、安装 1.安装JDK1.8及以上(推荐低版本对计算机的资源消耗少) 2.安装python2.6.1 添加环境变量 使用的是python3和python2在用户级别的环境变量中的添加 环境变量图示 复制命名 备注:由于python2.6.1无pip,而本人使用的过程项目对于pytho 阅读全文
posted @ 2020-03-10 20:36 生长的力量 阅读(1642) 评论(0) 推荐(0)