dummyly

摘要： Redis概述 Redis是一个开源，先进的key-value存储，并用于构建高性能，可扩展的应用程序的完美解决方案。 Redis从它的许多竞争继承来的三个主要特点： Redis数据库完全在内存中，使用磁盘仅用于持久性。 相比许多键值数据存储，Redis拥有一套较为丰富的数据类型。String，Li 阅读全文

摘要： 设置属性： //设置本地执行作set hive.exec.mode.local.auto=true; //设置动态分区 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nostrict; //设置r 阅读全文

摘要： 下载版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 官网：http://mirror.bit.edu.cn/apache/sqoop/1.4.6/ jdbc驱动：mysql-connector-java-5.1.46.jar 把jdbc驱动包放到sqoop 阅读全文

摘要： CentOS6.5安装MySQL5.7以hadoop用户登录系统，1.检测系统是否已经安装过mysql或其依赖，若已装过要先将其删除，否则第4步使用yum安装时会报错： #查看mysql是否安装，如果已经安装需要卸载，如果是 sudo rpm -qa|grep mysql 2、如果存在mysql,依 阅读全文

摘要： 官网原文链接https://docs.oracle.com/javase/8/docs/technotes/guides/install/linux_jdk.html#BJFJHFDD下载链接http://www.oracle.com/technetwork/java/javase/download 阅读全文

摘要： Linux的文件权限与目录配置 在linux 中每个用户必须属于一个组，而Linux下有三种组的概念，如下： 文件所拥有者 用户所在组 其他组 组操作： 增加一个组：groupadd test 修改组名：groupmod -n test test2 删除组：groupdel test2 查看组（当前 阅读全文

摘要： Hive将SQL转化为MapReduce的过程： 阅读全文

摘要： Kafka的特性 Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同 kafka基本原理： 生产者将数据生产出来，交给 broker 进行存储，消费者需要消费数据了，就从broker中去拿出数据来，然后完成一系列对数据的处理操作。 多个 bro 阅读全文

摘要： RDD：弹性分布式数据集， 是分布式内存的一个抽象概念 RDD：1.一个分区的集合， 2.是计算每个分区的函数 ， 3.RDD之间有依赖关系 4.一个对于key-value的RDD的Partitioner 5.一个存储存取每个Partition的优先位置的列表 RDD算子： Transformati 阅读全文

摘要： import包： import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.sql... 阅读全文