摘要: 一 在HIVE中创建ETL数据库 ->create database etl; 二 在工程目录下新建MysqlToHive.py 和conf文件夹 在conf文件夹下新建如下文件,最后的工程目录如下图 三 源码 Import.xml oder_add.xml oder_all.xml user_ad 阅读全文
posted @ 2016-12-01 18:16 OnTheWay_duking 阅读(8637) 评论(0) 推荐(1) 编辑
摘要: 四 项目开发 1 创建数据库db_etl,新建两张表user 和oder。表结构如第一部分图所示。 2 编写python脚本,实现自动向mysql中插入数据。 新建python 项目,目录结构如下图 编写代码如下: 注意:python调用mysql需要引入MySQLdb模块,改模块的安装请看另外的教 阅读全文
posted @ 2016-12-01 15:00 OnTheWay_duking 阅读(2026) 评论(0) 推荐(0) 编辑
摘要: 项目描述 一 项目简介 在远程服务器上的数据库中有两张表,user 和order,现需要对表中的数据做分析,将分析后的结果再存到mysql中。两张表的结构如下图所示 现需要分析每一天user和,oder的新增数量。 在远程的日志服务器上存放有用户浏览网站所留下的apache日志数据,现在需要对日志文 阅读全文
posted @ 2016-12-01 14:58 OnTheWay_duking 阅读(9005) 评论(0) 推荐(1) 编辑
摘要: 本文讲述了python安装mysql-python的方法。分享给大家供大家参考,具体如下: ubuntu 系统下进行的操作 首先安装了pip工具 ? 1 sudo apt-get install python-pip ? 1 sudo apt-get install python-pip ? 1 s 阅读全文
posted @ 2016-12-01 14:47 OnTheWay_duking 阅读(6911) 评论(0) 推荐(0) 编辑
摘要: 如果你对在Python生成随机数与random模块中最常用的几个函数的关系与不懂之处,下面的文章就是对Python生成随机数与random模块中最常用的几个函数的关系,希望你会有所收获,以下就是这篇文章的介绍。 random.random()用于生成 用于生成一个指定范围内的随机符点数,两个参数其中 阅读全文
posted @ 2016-12-01 11:46 OnTheWay_duking 阅读(146692) 评论(6) 推荐(7) 编辑
摘要: 使用Python访问MySQL,需要一系列安装 Linux下MySQLdb安装见 Python MySQLdb在Linux下的快速安装 http://blog.csdn.NET/wklken/article/details/7271019 以下是windows环境下的: 1. 安装数据库mysql 阅读全文
posted @ 2016-12-01 10:24 OnTheWay_duking 阅读(310) 评论(0) 推荐(0) 编辑