JamesFan博客

摘要： 列类型Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY(Hive0.8.0以上才可用)TIMESTAMP(Hive0.8.0以上才可用)复合类型:arrays:ARRAYmaps:MAPstructs:... 阅读全文

摘要： hive的启动需要使用到zookeeper, 所以, 要么自己搭建zookeeper, 要么跟其它东西一起使用, 我这里做的是跟hbase一起使用的zookeeper, 因为hbase自带zookeeper, hbase启动就会启动zookeeper, 而hive默认会连接本机的2181端口, 所以... 阅读全文

摘要： Impala介绍Impala支持的文件格式Impala可以对Hadoop中大多数格式的文件进行查询。它能通过create table和insert的方式将一部分格式的数据加载到table中，但值得注意的是，有一些格式的数据它是无法写入的（write to）。对于Impala无法写入的数据格式，我们只... 阅读全文

摘要： 本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方... 阅读全文

摘要： 导出:bin/hbase org.apache.hadoop.hbase.mapreduce.Export bigtable /user/bigtable_bak/导入：bin/hbase org.apache.hadoop.hbase.mapreduce.Import test_copy hdfs... 阅读全文

摘要： 环境：centos6.5x64 ,cdh5.1.0三个节点：c1:gmeta gmond(gmeta类似于namenode，gmond相当于datanode)主节点c2: gmond (相当于datanode)c3:gmond(相当于datanode)一．Ganglia介绍Ganglia是UC Be... 阅读全文

摘要： 注：地址可能会变RHEL/CentOS 7 64 Bit# wget http://dl.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.2.noarch.rpm# rpm -ivh epel-release-7-0.2.noarc... 阅读全文

摘要： Hbase对Mapreduce API进行了扩展，方便Mapreduce任务读写HTable数据。package taglib.customer;import java.io.IOException; import org.apache.hadoop.conf.Configuration; im... 阅读全文

摘要： MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注 意，如果用户指定了参数，将覆盖掉默认参数。以下这些... 阅读全文

摘要： name说明mapred.task.profile是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息mapred.task.profile.{maps|reduces}对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试mapre... 阅读全文

摘要： hadoop作业调优参数整理及原理10/22. 20131 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并... 阅读全文

摘要： -XX:+PrintGC 在eclipse控制台打印简单的GC信息，与-verbose:gc一样-verbose:gc 在eclipse控制台打印简单的GC信息-XX:+PrintGCDetails //打印GC详细信息到控制台-XX:+PrintGCDetails -Xloggc:gc.log /... 阅读全文

摘要： yum方式安装的mysql1、yum remove mysql mysql-server mysql-libs compat-mysql512、rm -rf /var/lib/mysql3、rm /etc/my.cnf查看是否还有mysql软件：rpm -qa|grep mysql如果存在的话，继续... 阅读全文

摘要： 1. 使用方式：ln [option] source_file dist_file-f 建立时，将同档案名删除.-i 删除前进行询问.ln -s abc cde 建立abc 的软连接ln abc cde 建立abc的硬连接，2. 软链接与硬链接的区别（通俗）：硬链接可认为是一个文件拥有两个文件名;而... 阅读全文

摘要： 测试机器的硬件信息：查看CPU信息（型号）# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c8 Intel(R) Xeon(R) CPU E5410 @ 2.33GHz(看到有8个逻辑CPU, 也知道了CPU型号)www.2cto.com#... 阅读全文

摘要： 一. 在虚拟机上增加磁盘空间如下图。增加完后会有提示 “磁盘已成功扩展。您必须从客户机操作系统内部对磁盘重新进行分区和扩展文件系统。是继续完成以下步骤才算成功。二、调整虚拟机磁盘LVM1.查看现有的硬盘分区（现在空间没有变大）# df -h2.对新增的硬盘空间做新增分区（硬盘数没有增加，增加的是空间... 阅读全文

摘要： 1 字符串判断str1 = str2 当两个串有相同内容、长度时为真str1 != str2 当串str1和str2不等时为真-n str1 当串的长度大于0时为真(串非空)-z str1 当串的长度为0时为真(空串)str1 当串st... 阅读全文

摘要： 使用本地服务发邮件，经常被过滤掉而且占用资源，发送成功率不高。所以使用外部SMTP服务器发送邮件成为了需求。SMTP认证的目的是为了使用户避免受到垃圾邮件的侵扰,简单地说就是要求必须在提供了账户名和密码之后才可以登录SMTP服务器,这就使得那些垃圾邮件的散播者无可乘之机.POP3服务器用来接收邮件,... 阅读全文

摘要： 我们可以使用外部邮箱（163，126，gmail，139等等）为我们发邮件for CentOS 6.5yum -y install mailxvi /etc/mail.rc在文件的末行添加以下5行set from=yuorname@139.comset smtp=smtp.139.comset sm... 阅读全文

摘要： 除了这些固定值外，还可以配合星号（*），逗号（,），和斜线（/）来表示一些其他的含义：星号 表示任意值，比如在小时部分填写 * 代表任意小时（每小时）逗号 可以允许在一个部分中填写多个值，比如在分钟部分填写 1,3 表示一分钟或三分钟斜线 一般配合 * 使用，代表每隔多长时间... 阅读全文