03 2017 档案

摘要:apache项目包地址 http://archive.apache.org/dist/ apache项目cdh包地址 http://archive.cloudera.com/cdh5/cdh/5/ 阅读全文
posted @ 2017-03-31 14:48 Dlimeng 阅读(11) 评论(0) 推荐(0)
摘要:apache项目包地址 http://archive.apache.org/dist/ apache项目cdh包地址 http://archive.cloudera.com/cdh5/cdh/5/ 阅读全文
posted @ 2017-03-31 14:48 Dlimeng 阅读(8) 评论(0) 推荐(0)
摘要:1.1hive-import参数 使用--hive-import就可以将数据导入到hive中,但是下面这个命令执行后会报错,报错信息如下: sqoop import --connect jdbc:mysql://localhost:3306/test --username root --passwo 阅读全文
posted @ 2017-03-31 14:15 Dlimeng 阅读(15) 评论(0) 推荐(0)
摘要:1.1hive-import参数 使用--hive-import就可以将数据导入到hive中,但是下面这个命令执行后会报错,报错信息如下: sqoop import --connect jdbc:mysql://localhost:3306/test --username root --passwo 阅读全文
posted @ 2017-03-31 14:15 Dlimeng 阅读(15) 评论(0) 推荐(0)
摘要:Note: System times on machines may be out of sync. Check system time and time zones. 解决办法一:在每台服务器上执行:ntpdate asia.pool.ntp.org 同步所有的服务器的时间 解决办法二:设置参数s 阅读全文
posted @ 2017-03-31 14:09 Dlimeng 阅读(17) 评论(0) 推荐(0)
摘要:Note: System times on machines may be out of sync. Check system time and time zones. 解决办法一:在每台服务器上执行:ntpdate asia.pool.ntp.org 同步所有的服务器的时间 解决办法二:设置参数s 阅读全文
posted @ 2017-03-31 14:09 Dlimeng 阅读(19) 评论(0) 推荐(0)
摘要:1.自从spark2.0.0发布没有assembly的包了,在jars里面,是很多小jar包 修改目录查找jar 2.异常HiveConf of name hive.enable.spark.execution.engine does not exist 在hive-site.xml中: hive. 阅读全文
posted @ 2017-03-30 16:24 Dlimeng 阅读(33) 评论(0) 推荐(0)
摘要:1.自从spark2.0.0发布没有assembly的包了,在jars里面,是很多小jar包 on spark 报错" title="hive on spark 报错"> 修改目录查找jar on spark 报错" title="hive on spark 报错"> 2.异常HiveConf of 阅读全文
posted @ 2017-03-30 16:24 Dlimeng 阅读(26) 评论(0) 推荐(0)
摘要:以centos为例 Passwd文件存储当前系统所有用户,而组文件/etc/group记录 一个用户可以属于多个组,查看用户所属的组,gourps + 用户名 更改文件拥有者 (chown ) [root@linux ~]# chown 账号名称 文件或目录 改变文件的用户组用命令 chgrp [r 阅读全文
posted @ 2017-03-29 11:25 Dlimeng 阅读(8) 评论(0) 推荐(0)
摘要:以centos为例 Passwd文件存储当前系统所有用户,而组文件/etc/group记录 一个用户可以属于多个组,查看用户所属的组,gourps + 用户名 更改文件拥有者 (chown ) [root@linux ~]# chown 账号名称 文件或目录 改变文件的用户组用命令 chgrp [r 阅读全文
posted @ 2017-03-29 11:25 Dlimeng 阅读(33) 评论(0) 推荐(0)
摘要:在本机状态下 1、win键+R键,输入cmd,打开命令提示符。 2、输入:sqlplus /nolog 3、输入conn /as sysdba 4、输入alter user system identified by 新密码; alter user sys identified by 新密码; 阅读全文
posted @ 2017-03-28 18:38 Dlimeng 阅读(12) 评论(0) 推荐(0)
摘要:在本机状态下 1、win键+R键,输入cmd,打开命令提示符。 2、输入:sqlplus /nolog 3、输入conn /as sysdba 4、输入alter user system identified by 新密码; alter user sys identified by 新密码; 阅读全文
posted @ 2017-03-28 18:38 Dlimeng 阅读(7) 评论(0) 推荐(0)
摘要:一. 目录结构 D:\install\PLSQL |-- instantclient_11_2 |-- tnsnames.ora |-- PLSQL Developer |-- readme.txt 二. 环境变量 NLS_LANG = SIMPLIFIED CHINESE_CHINA.ZHS16G 阅读全文
posted @ 2017-03-28 13:23 Dlimeng 阅读(19) 评论(0) 推荐(0)
摘要:一. 目录结构 D:\install\PLSQL |-- instantclient_11_2 |-- tnsnames.ora |-- PLSQL Developer |-- readme.txt 二. 环境变量 NLS_LANG = SIMPLIFIED CHINESE_CHINA.ZHS16G 阅读全文
posted @ 2017-03-28 13:23 Dlimeng 阅读(11) 评论(0) 推荐(0)
摘要:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes at sun.reflect.NativeConstructorAcc 阅读全文
posted @ 2017-03-25 18:01 Dlimeng 阅读(46) 评论(0) 推荐(0)
摘要:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes at sun.reflect.NativeConstructorAcc 阅读全文
posted @ 2017-03-25 18:01 Dlimeng 阅读(15) 评论(0) 推荐(0)
摘要:常理上有几个理由使得MapReduce框架慢于MPP数据库: 1.容错所引入的昂贵数据实体化(data materialization)开销。 2.孱弱的数据布局(data layout),比如缺少索引。 3.执行策略的开销[1 2]。 而我们对于Hive的实验也进一步证明了上述的理由,但是通过对H 阅读全文
posted @ 2017-03-24 10:53 Dlimeng 阅读(8) 评论(0) 推荐(0)
摘要:常理上有几个理由使得MapReduce框架慢于MPP数据库: 1.容错所引入的昂贵数据实体化(data materialization)开销。 2.孱弱的数据布局(data layout),比如缺少索引。 3.执行策略的开销[1 2]。 而我们对于Hive的实验也进一步证明了上述的理由,但是通过对H 阅读全文
posted @ 2017-03-24 10:53 Dlimeng 阅读(10) 评论(0) 推荐(0)
摘要:首先知道交互式shell和非交互式shell、登录shell和非登录shell是有区别的 使用shell脚本启动zookeeper 1.把profile的配置信息echo到.bashrc中 echo 'source /etc/profile' >> ~/.bashrc (集群每台) 2.在/zook 阅读全文
posted @ 2017-03-23 18:02 Dlimeng 阅读(5) 评论(0) 推荐(0)
摘要:首先知道交互式shell和非交互式shell、登录shell和非登录shell是有区别的 使用shell脚本启动zookeeper 1.把profile的配置信息echo到.bashrc中 echo 'source /etc/profile' >> ~/.bashrc (集群每台) 2.在/zook 阅读全文
posted @ 2017-03-23 18:02 Dlimeng 阅读(5) 评论(0) 推荐(0)
摘要:Hive是什么? Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程接口,它本身不存储和计算数据;它依赖于HDFS(Hadoop分布式文件系统)和MapReduce(一种编程模型,映射与化简;用于大数据并行运算)。其对H 阅读全文
posted @ 2017-03-23 14:04 Dlimeng 阅读(12) 评论(0) 推荐(0)
摘要:Hive是什么? Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程接口,它本身不存储和计算数据;它依赖于HDFS(Hadoop分布式文件系统)和MapReduce(一种编程模型,映射与化简;用于大数据并行运算)。其对H 阅读全文
posted @ 2017-03-23 14:04 Dlimeng 阅读(14) 评论(0) 推荐(0)
摘要:1、更改网卡的 ip 地址 2、更改 /etc/hosts 中的 master 对应的 ip (这个一定要写对啊) 3、hadoop namenode -format之前的准备阶段(删除一些文件 重要) 还要删除这个文件夹 hadoop-2.4.1/logs 4、hadoop namenode -f 阅读全文
posted @ 2017-03-18 14:25 Dlimeng 阅读(66) 评论(0) 推荐(0)
摘要:1、更改网卡的 ip 地址 2、更改 /etc/hosts 中的 master 对应的 ip (这个一定要写对啊) 3、hadoop namenode -format之前的准备阶段(删除一些文件 重要) 还要删除这个文件夹 hadoop-2.4.1/logs 4、hadoop namenode -f 阅读全文
posted @ 2017-03-18 14:25 Dlimeng 阅读(9) 评论(0) 推荐(0)
摘要:手动: date 系统时间 hwclock 硬件时钟 date -s "2017-03-15 19:05:00" hwclock: --hctosys 硬件时钟同步到当前系统时间 --systohc 系统时间同步给硬件时钟时间 网络同步时间: 安装 ntp rpm -qa | grep ntp yu 阅读全文
posted @ 2017-03-16 11:18 Dlimeng 阅读(10) 评论(0) 推荐(0)
摘要:手动: date 系统时间 hwclock 硬件时钟 date -s "2017-03-15 19:05:00" hwclock: --hctosys 硬件时钟同步到当前系统时间 --systohc 系统时间同步给硬件时钟时间 网络同步时间: 安装 ntp rpm -qa | grep ntp yu 阅读全文
posted @ 2017-03-16 11:18 Dlimeng 阅读(7) 评论(0) 推荐(0)
摘要:所使用的连接 Linux 的工具是 Xshell。所以此处仅针对 xshell 来进行设定。 在File->Properties->Terminal->Keyboard下,把DELETE/BACKSPACE key sequence选为ASCII 127(Ctrl+?)。 在HBase的shell命 阅读全文
posted @ 2017-03-15 18:02 Dlimeng 阅读(19) 评论(0) 推荐(0)
摘要:所使用的连接 Linux 的工具是 Xshell。所以此处仅针对 xshell 来进行设定。 在File->Properties->Terminal->Keyboard下,把DELETE/BACKSPACE key sequence选为ASCII 127(Ctrl+?)。 在HBase的shell命 阅读全文
posted @ 2017-03-15 18:02 Dlimeng 阅读(13) 评论(0) 推荐(0)
摘要:zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg,需要将其修改为zoo.cfg。其中各配置项的含义,解释如下: 1.tickTime:CS通信心跳时间 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间 阅读全文
posted @ 2017-03-13 21:19 Dlimeng 阅读(6) 评论(0) 推荐(0)
摘要:zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg,需要将其修改为zoo.cfg。其中各配置项的含义,解释如下: 1.tickTime:CS通信心跳时间 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间 阅读全文
posted @ 2017-03-13 21:19 Dlimeng 阅读(18) 评论(0) 推荐(0)
摘要:报错截图如下: 排错步骤如下: 1:查看系统是否识别相应网卡(发现没有eth0网卡存在): 根据显示信息我们可以初步判定系统网卡信息有问题: 2:查看当前MAC地址相关信息: 发现多出一块eth1网卡信息。 3:删除多余mac地址信息,并修改网卡配置文件: /etc/udev/rules.d/70- 阅读全文
posted @ 2017-03-13 01:50 Dlimeng 阅读(19) 评论(0) 推荐(0)
摘要:报错截图如下: 排错步骤如下: 1:查看系统是否识别相应网卡(发现没有eth0网卡存在): 根据显示信息我们可以初步判定系统网卡信息有问题: 2:查看当前MAC地址相关信息: 发现多出一块eth1网卡信息。 3:删除多余mac地址信息,并修改网卡配置文件: /etc/udev/rules.d/70- 阅读全文
posted @ 2017-03-13 01:50 Dlimeng 阅读(7) 评论(0) 推荐(0)
摘要:第一步:查看Linux自带的JDK是否已安装 (卸载centOS已安装的1.4) 安装好的CentOS会自带OpenJdk,用命令 Java -version ,会有下面的信息: Java version "1.6.0" OpenJDK Runtime Environment (build 1.6. 阅读全文
posted @ 2017-03-13 00:32 Dlimeng 阅读(39) 评论(0) 推荐(0)
摘要:以为在Centos7中,默认的网卡的名字不在是eth0,所以需要进行一下的一些处理: http://jingyan.baidu.com/article/7f41ecec1b022e593d095c1e.html 如果使用了上面的方法还是无法解决,那么可能是网卡中的配置需要修改,如下: http:// 阅读全文
posted @ 2017-03-10 16:18 Dlimeng 阅读(7) 评论(0) 推荐(0)
摘要:以为在Centos7中,默认的网卡的名字不在是eth0,所以需要进行一下的一些处理: http://jingyan.baidu.com/article/7f41ecec1b022e593d095c1e.html 如果使用了上面的方法还是无法解决,那么可能是网卡中的配置需要修改,如下: http:// 阅读全文
posted @ 2017-03-10 16:18 Dlimeng 阅读(10) 评论(0) 推荐(0)
摘要:SecureCRT这个工具自带了一个FTP,方便我们上传和下载,而且做的比较人性化,由于其基本命令和linux中基本命令大都相似,熟悉LINUX人能很容易上手。 当我们用SecureCRT连接上一台主机时,点击该工具的上 “文件”,在其下拉列表中选中“连接SFTP标签页”,结果就出现sftp>,这样 阅读全文
posted @ 2017-03-09 14:50 Dlimeng 阅读(27) 评论(0) 推荐(0)
摘要:SecureCRT这个工具自带了一个FTP,方便我们上传和下载,而且做的比较人性化,由于其基本命令和linux中基本命令大都相似,熟悉LINUX人能很容易上手。 当我们用SecureCRT连接上一台主机时,点击该工具的上 “文件”,在其下拉列表中选中“连接SFTP标签页”,结果就出现sftp>,这样 阅读全文
posted @ 2017-03-09 14:50 Dlimeng 阅读(7) 评论(0) 推荐(0)
摘要:一、viewport简介 什么是viewport? 通俗来讲,移动设备上的viewport就是设备的屏幕上能用来显示我们的网页的那一块区域。 ppk的关于三个viewport的理论 layout viewport:浏览器默认情况下,保证是为桌面设计的网站,还是为移动端设计的网站,都能正常显示,这样情 阅读全文
posted @ 2017-03-01 00:26 Dlimeng 阅读(8) 评论(0) 推荐(0)
摘要:一、viewport简介 什么是viewport? 通俗来讲,移动设备上的viewport就是设备的屏幕上能用来显示我们的网页的那一块区域。 ppk的关于三个viewport的理论 layout viewport:浏览器默认情况下,保证是为桌面设计的网站,还是为移动端设计的网站,都能正常显示,这样情 阅读全文
posted @ 2017-03-01 00:26 Dlimeng 阅读(7) 评论(0) 推荐(0)