12 2016 档案

hbase 遇到过的问题
摘要：1：下面这个错误是因为我zookeeper忘了启动了，启动你的zookeeper，重新启动下你的hbase 2:这个错误，我的解决方法是： 我从apache上下载zookeeper包，自己安装了个zk,没有使用hbase自带的zk， 安装好后，先启动zk,再启动hbase，是可以的 阅读全文
posted @ 2016-12-28 17:26 卖臭豆腐喽 阅读(314) 评论(0) 推荐(0)
hadoop2.6.4 搭建伪分布式
摘要：安装jdk1.7 http://www.cnblogs.com/zhangXingSheng/p/6228432.html 新增个域名 [root@node4 sysconfig]# more /etc/hosts 127.0.0.1 localhost 192.168.177.124 hadoop 阅读全文
posted @ 2016-12-28 11:29 卖臭豆腐喽 阅读(736) 评论(0) 推荐(0)
centos6.6 安装jdk1.7
摘要：1：在oracle官网下载jdk liunx版本,放入到虚拟机中 2：解压jdk,解压命令 tar -xvzf jdk-7u15-linux-x64.tar.gz 解压完成（如下图） 3：在/usr/local/ 目录下创建development文件夹(development是我自己取得名字) 4： 阅读全文
posted @ 2016-12-28 10:19 卖臭豆腐喽 阅读(259) 评论(0) 推荐(0)
hadoop2.6.4 搭建单机模式
摘要：注（要先安装jdk，最好jdk版本>=1.7） 安装jdk http://www.cnblogs.com/zhangXingSheng/p/6228432.html 给普通用户添加suto权限(使用root权限时无需密码) 1：切换成root用户 2：编辑 /etc/sudoers 文件（该文件的默 阅读全文
posted @ 2016-12-28 10:11 卖臭豆腐喽 阅读(463) 评论(0) 推荐(0)
hbase 简单操作
摘要：创建一个表 hbase(main):001:0> create 'student', 'name' 0 row(s) in 14.0260 seconds => Hbase::Table - student 列出所有表 hbase(main):001:0> create 'student', 'na 阅读全文
posted @ 2016-12-27 20:44 卖臭豆腐喽 阅读(307) 评论(0) 推荐(0)
zookeeper3.3.6 伪分布式安装
摘要：下载地址（http://zookeeper.apache.org/releases.html#download） 一：下载zookeeper的安装包，解压，进入到zk的目录文件，进入conf目录 二：文件并重命名为zoo.cfg cp zoo_sample.cfg zoo.cfg 三：编辑 zoo. 阅读全文
posted @ 2016-12-27 14:34 卖臭豆腐喽 阅读(753) 评论(0) 推荐(0)
hbase1.2.4 伪分布式安装
摘要：注意：在安装hbase或者hadoop的时候，要注意hadoop和hbase的对应关系。如果版本不对应可能造成系统的不稳定和一些其他的问题。在hbase的lib目录下可以看到hadoop对应jar文件，默认情况下hbase下lib的jar文件对应hadoop的相对稳定的版本。如果需要使用其他的had 阅读全文
posted @ 2016-12-27 14:19 卖臭豆腐喽 阅读(4745) 评论(0) 推荐(0)
配置ntp服务
摘要：配置ntp服务（hadoop搭建可参考） 一：修改选定的服务器的本地时间 date -s '2016-10-07 16:29:30' +'%F %T' //需要设置的时间 二：修改后将时间写入到硬件时钟，确保重启有效 hwclock -w 三：安装并开启ntp服务 四：开启自动开启ntp服务开机启） 阅读全文
posted @ 2016-12-26 19:40 卖臭豆腐喽 阅读(297) 评论(0) 推荐(0)
hive 复杂类型
摘要：hive提供一种复合类型的数据 struct：可以使用“.”来存取数据 map:可以使用键值对来存取数据 array:array中存取的数据为相同类型，其中的数据可以通过下表获取数据 创建 struct类型 create table student_struct(id INT, info struc 阅读全文
posted @ 2016-12-26 19:09 卖臭豆腐喽 阅读(1759) 评论(0) 推荐(0)
hive创建索引
摘要：索引是hive0.7之后才有的功能，创建索引需要评估其合理性，因为创建索引也是要磁盘空间，维护起来也是需要代价的 创建索引 hive> create index [index_studentid] on table student_3(studentid) > as 'org.apache.hado 阅读全文
posted @ 2016-12-26 19:07 卖臭豆腐喽 阅读(13863) 评论(3) 推荐(2)
hive的数据导出方式
摘要：hive有三种导出数据的方式 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 》导出数据到本地 》导出数据到hdfs 》导出数据到另一个表 导出数据到本地文件系统 阅读全文
posted @ 2016-12-26 19:06 卖臭豆腐喽 阅读(624) 评论(0) 推荐(0)
eclipse远程连接hive
摘要：创建项目，添加jar包，hive的s上，所以也需要hadoop的一些jar 这个图片是从网上找的，我直接使用的以前hadoop的项目 创建测试类，写测试代码 //获取jdbc链接 private static Connection getConnection(){ Connection conn=n 阅读全文
posted @ 2016-12-26 19:03 卖臭豆腐喽 阅读(2586) 评论(0) 推荐(0)
在hive中遇到的错误
摘要：1：如果在将文件导入到hive表时，查询结果为null(下图) 这个是因为在创建表的时候没有指定列分隔符，hive的默认分隔符是ctrl+a(/u0001) 2.当我复制好几行sql到hive命令行时，会出现下面情况，导致复制失败 这个是因为我的sql中有tab的缩进，将tab的空格去掉即可 3.当 阅读全文
posted @ 2016-12-26 18:58 卖臭豆腐喽 阅读(6518) 评论(0) 推荐(0)
hive数据操作
摘要：mdl是数据操作类的语言，包括向数据表加载文件，写查询结果等操作 hive有四种导入数据的方式 》从本地加载数据 LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE [tableName]; 》从hdfs上加载 阅读全文
posted @ 2016-12-26 18:54 卖臭豆腐喽 阅读(503) 评论(0) 推荐(0)
hive 表分区操作
摘要：hive的数据查询一般会扫描整个表，当表数据太大时，就会消耗些时间，有时候我们只需要对部分数据感兴趣，所以hive引入了分区的概念 hive的表分区区别于一般的分布式分区（hash分区，范围分区，一致性分区），hive的分区是比较简单的。他是根据hive的表结构，分区的字段设置将数据按目录存放起来， 阅读全文
posted @ 2016-12-26 18:48 卖臭豆腐喽 阅读(4762) 评论(0) 推荐(0)
hive 普通创建表和跟新列操作
摘要：创建表 CREATE TABLE if not exists student ( student_id int, sex int, address String, email String ) 这里需要注意的是，虽然hiveSL类似sql语言，但是他们有很多需要注意的地方，不能直接使用符号，比如“' 阅读全文
posted @ 2016-12-26 18:43 卖臭豆腐喽 阅读(4656) 评论(0) 推荐(0)
hive2.1.0安装
摘要：这里是使用mysql作为hive的元数据存储所以要先启动mysql的服务，MySQL的安装可以参考下面连接 MySQL安装：http://www.cnblogs.com/zhangXingSheng/p/6941422.html 下载hive(http://mirrors.cnnic.cn/apac 阅读全文
posted @ 2016-12-26 18:36 卖臭豆腐喽 阅读(2744) 评论(0) 推荐(0)
hive
摘要：Hive是hadoop一个重要的子项目，它利用的是mapreduce的编程技术，实现了部分sql语句，提供类sql的编程接口。 hive是一个基于hadoop文件系统之上的数据仓库架构架构，他为数据仓库的管理提供了很多功能：etl(转换，抽取，加载)工具，数据存储管理和大型数据集的查询和分析功能。他 阅读全文
posted @ 2016-12-26 16:21 卖臭豆腐喽 阅读(273) 评论(0) 推荐(0)
hadoop2的思想架构
摘要：mapreduce 2 思想架构 mr2解决了mr1的jobTracker的单点颈瓶问题，这个问题会影响hadoop的扩展性，集群的可靠性，mr1中jobTracker负责集群作业的分发，管理，调度，同时还必须和集群中所有的节点保持通信，了解集群的资源情况和运行的状态，所以jobTracker就负担 阅读全文
posted @ 2016-12-26 15:48 卖臭豆腐喽 阅读(1260) 评论(0) 推荐(1)
一致性模型对系统设计的重要性，数据的备份
摘要：文件系统的一致性和应用程序的方法有关，如果不调用sync()，就需要做好因为客户端异常或者服务端故障而缺失部分数据。缺失数据这对应用来说是不可接受的。所以需要在合适的地方调用sync(),比如在写入一定量的数据后，尽管sync()用来最大限度的减轻hdfs的负担，但是他仍有不可忽视的开销。所以你需要 阅读全文
posted @ 2016-12-26 15:46 卖臭豆腐喽 阅读(266) 评论(0) 推荐(0)
hdfs的读写数据流
摘要：hdfs的读： 首先客户端通过调用fileSystem对象中的open()函数读取他需要的的数据，fileSystem是DistributedFileSystem的一个实例， DistributedFileSystem会通过rpc协议和nameNode通信，来确定请求文件块所在的位置。对于每个返回的 阅读全文
posted @ 2016-12-26 15:45 卖臭豆腐喽 阅读(791) 评论(0) 推荐(0)
hadoop 笔记
摘要：我们常说的分布式系统，其实就是分布式软件系统，支持分布式处理的软件系统。他是在通信网络互联的多处理机体系结构上执行任务。 hadoop是分布式软件系统中文件系统层的软件，他实现了分布式文件系统和部分分布式数据库系统。hadoop中的分布式文件系统hdfs可以实现数据在计算机集群组成的云上，高效的存储 阅读全文
posted @ 2016-12-26 15:43 卖臭豆腐喽 阅读(271) 评论(0) 推荐(0)
scala安装
摘要：一：在官网下载相应的版本http://www.scala-lang.org/download/2.10.6.html 二，在linux中解压下载下来的scala包 三：配置环境变量 export SCALA_HOME=/usr/local/development/scala-2.12.0 expor 阅读全文
posted @ 2016-12-26 15:01 卖臭豆腐喽 阅读(172) 评论(0) 推荐(0)
spark standlone 伪分布式安装
摘要：一，在官网下载对应的版本http://spark.apache.org/downloads.html 二在linux中解压下来的spark包 三：配置环境变量 （1）在/etc/profile文件添加如下 export SPARK_HOME=/usr/local/development/spark- 阅读全文
posted @ 2016-12-26 14:44 卖臭豆腐喽 阅读(687) 评论(0) 推荐(0)
mybatis动态sql
摘要：MyBatis 采用功能强大的基于 OGNL 的表达式来消除其他元素。  if choose(when,otherwise) trim(where,set) foreach 例子（2）： <select id=”findActiveBlogLike” parameterType=”Blog” 阅读全文
posted @ 2016-12-26 14:34 卖臭豆腐喽 阅读(265) 评论(0) 推荐(0)
mysql缓存
摘要：<cache/>字面上看就是这样。这个简单语句的效果如下： 映射语句文件中的所有 select 语句将会被缓存。 映射语句文件中的所有 insert， update 和 delete 语句会刷新缓存。 缓存会使用 Least Recently Used（ LRU，最近最少使用的）算法来收回。 阅读全文
posted @ 2016-12-26 14:29 卖臭豆腐喽 阅读(1586) 评论(0) 推荐(0)
复杂映射
摘要：有一个的关系 在嵌套结果映射中 id 元素扮演了非常重要的角色。 应该通常指定一个或多个属性，它们可以用来唯一标识结果。实际上就是如果你不使用它（ id 元素），但是会产生一个严重的性能问题， id:来唯一标识结果 column :表中字段的名称 property:bean属性的名称 <result 阅读全文
posted @ 2016-12-26 14:23 卖臭豆腐喽 阅读(396) 评论(0) 推荐(0)
SQL 映射的 XML 文件
摘要：MyBatis 真正的力量是在映射语句中。这里是奇迹发生的地方。 对于所有的力量， SQL映射的 XML 文件是相当的简单。当然如果你将它们和对等功能的 JDBC 代码来比较，你会发现映射文件节省了大约 95%的代码量。 MyBatis 的构建就是聚焦于 SQL 的，使其远离于普通的方式。 SQL  阅读全文
posted @ 2016-12-26 14:16 卖臭豆腐喽 阅读(2170) 评论(0) 推荐(0)
xml配置文件
摘要：xml文件的层级结构  configuration 配置  properties 属性  settings 设置  typeAliases 类型命名  typeHandlers 类型处理器  objectFactory 对象工厂  plugins 插件  environments 环 阅读全文
posted @ 2016-12-26 11:56 卖臭豆腐喽 阅读(613) 评论(0) 推荐(0)
从xml中构建sqlSessionFactory
摘要：String resource = "org/mybatis/example/Configuration.xml"; Reader reader = Resources.getResourceAsReader(resource); sqlMapper = new SqlSessionFactoryB 阅读全文
posted @ 2016-12-26 11:50 卖臭豆腐喽 阅读(530) 评论(0) 推荐(0)
eclipse使用时jar不在libraries
摘要：jar是在项目工程的目录下 点击工程右键 这样jar包边收到librarles中 阅读全文
posted @ 2016-12-25 21:49 卖臭豆腐喽 阅读(192) 评论(0) 推荐(0)
去掉不用的工作空间
摘要：1.去掉不用的工作空间Eclipse中，有些workspace不再使用了，可以通过编辑eclipse_home\configuration\.settings文件下的文件org.eclipse.ui.ide.prefs， 找到“RECENT_WORKSPACES=”一句，后面的值就是workspac 阅读全文
posted @ 2016-12-25 21:44 卖臭豆腐喽 阅读(366) 评论(0) 推荐(0)
javac找不到或无法加载主类 com.sun.tools.javac.Main,
摘要：javac找不到或无法加载主类 com.sun.tools.javac.Main javac找不到或无法加载主类 com.sun.tools.javac.Main ecplise在配置jdk时，1（要选择jdk的那层目录D:\JDK\jdk_64\jdk，不要选择jre的那层），2(这个错误有有可能 阅读全文
posted @ 2016-12-25 21:42 卖臭豆腐喽 阅读(1789) 评论(0) 推荐(0)