摘要：
前言：网络编程主要分成udp和tcp两种，udp不需要创建连接，所以传输速度快，但不稳健，tcp需要创建连接，所以传输速度慢，但稳健，现在，大多数应用都采用tcp来进行通信。 一、UDP 1.send端 1)导包 from socket import * 2)创建udpSocket对象，udpSoc 阅读全文
摘要：
flume是实时收集的一种大数据框架 sqoop是一个数据转换的大数据框架，它可以将关系型数据库，比如mysql,里面的数据导入到hdfs和hive中，当然反过来也可以 一、Flume的搭建 1、将/opt/software目录下的flume安装包，解压到/opt/app目录下 2、进入flume目 阅读全文
摘要：
一、Hive初识 1.Hive的安装，前面的博客中已经介绍过，这里就不再赘述了 2.Hive的基本语法 查看Hive中有多少数据库：show databases; 创建一个数据库：create database 数据库名； 创建一个数据表：create table 表名（字段 数据类型，字段 数据类 阅读全文
摘要：
1、在我们实际应用开发中，我们通常将数据库层和其它模块分离开来，这样有利于维护，故在此我给出一个操作数据工具包DBUtils类： 该类返回一个连接对象，有利于后面我们对数据库进行层删改查 2、关闭资源的工具类 1 package cn.itcast.jdbcutil; 2 /* 3 * 实现JDBC 阅读全文
摘要：
一、数据库的基本操作 1、登录数据库 登录数据库有两种方式： 方式一：mysql -u用户名 -p密码 方式二：mysql --host=ip地址 --user=用户名 --password=密码 2、SQL分类： 1>数据定义语言：简称DDL(Data Definition Language)，用 阅读全文
摘要：
前期工作： 1.hadoop2.x集群首先要搭建好，我这里是分布式，三台虚拟机 2.要进行时间同步（很重要），我这里用的是ntp服务 一、搭建zookeeper 1.上传zookeeper安装包，并且将安装包解压到/opt/modules/目录下 2.进入zookeerper目录，创建一个data文 阅读全文
摘要：
前期准备： 1.我这里用了三台虚拟机，.默认已经配置好静态IP和IP域名映射，它们相互之间可以ping通 第一台：192.168.174.131 hadoopNumber01.medal.com 第二台：192.168.174.132 hadoopNumber02.meda.com 第三台：192. 阅读全文
摘要：
前期准备： 1.我这里用了三台虚拟机，.默认已经配置好静态IP和IP域名映射，它们相互之间可以ping通 第一台：192.168.174.131 hadoopNumber01.medal.com 第二台：192.168.174.132 hadoopNumber02.meda.com 第三台：192. 阅读全文
摘要：
前期准备： 1.默认已经搭建好了hadoop环境（我的hadoop版本是2.5.0） 2.这里我用的Hbase是0.98.6，spark是1.3.0 一、搭建Hbase 1、上传Hbase安装包，将/opt/software下的hbase安装包解压到/opt/app目录下 2、进入hbase目录下， 阅读全文
摘要：
前期准备： 1、默认已经搭好了hadoop环境（我的hadoop版本是2.5.0） 2、这里我用的hive版本是0.13.1 一、安装Hive 1、上传hive安装包，将/opt/software下的hive安装包解压到/opt/app目录下 2、进入hive目录下，修改配置文件 （1）将hive- 阅读全文