诸葛小四

2017年6月22日

使用jodis连接codis的时候报异常：Exception in thread "main" redis.clients.jedis.exceptions.JedisException: Proxy list empty

摘要： 1 阅读全文

posted @ 2017-06-22 22:53 诸葛小四阅读(1177) 评论(0) 推荐(0)

摘要： ps -rf|grep pid号，一直查询不到，进程并没有运行，后来在Zookeeper中发现get /zk/codis/db_gdata/dashboard 这个中存在着pid，连接到zookeeper命令：zkCli.sh -server 127.0.0.1:2181 将Zookeeper 中阅读全文

posted @ 2017-06-22 21:12 诸葛小四阅读(307) 评论(0) 推荐(0)

2017年5月16日

Hadoop中文编码乱码相关问题

摘要： mapreduce程序处理GBK编码数据并输出GBK编码数据, hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是对于中文的输出window系统默认的是GBK，有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时，输出的结果为乱码，只能由阅读全文

posted @ 2017-05-16 21:56 诸葛小四阅读(815) 评论(0) 推荐(0)

HDFS上传文件错误--hdfs:DFSClient:DataStreamer Exception

摘要：今天上传文件的时候发现传上去的文件为空，错误提示如上述所示，原来是IP地址改掉了对呀应etc／hosts下面的IP地址也要改变，永久改ip命令－ifconfig eth0 xxx·xxx·xxx·xxx up。改完IP即可同时ssh其他节点也可以成功阅读全文

posted @ 2017-05-16 21:56 诸葛小四阅读(2815) 评论(0) 推荐(0)

关于hadoop处理大量小文件情况的解决方法

摘要：小文件是指那些size比HDFS的block size（默认64m）小的多的文件。任何一个文件，目录和bolck，在HDFS中都会被表示为一个object存储在namenode的内存中，每一个object占用150bytes的内存空间。所以，如果有10milion个文件，每一个文件对应一个block 阅读全文

posted @ 2017-05-16 21:55 诸葛小四阅读(8048) 评论(0) 推荐(0)

关于在eclipse下的mapreduce工程打包成jar包的问题（包含第三方jar包）

摘要：这个问题也是在开发项目中经常遇到的一个问题，网上提供了很多方法，但是我发现很多并不适用，这里推荐两种方法，一种肯定没问题，就是比较麻烦，另一种是适用FatJar来打包，但是我没成功，原因估计出在ubuntu下的eclipse导入插件可能和windows下面的不一样方式一：将所有的第三方jar包放阅读全文

posted @ 2017-05-16 21:55 诸葛小四阅读(572) 评论(0) 推荐(0)

运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.

摘要：运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operati 阅读全文

posted @ 2017-05-16 21:54 诸葛小四阅读(12241) 评论(1) 推荐(0)

运行hadoop的时候提示物理内存或虚拟内存溢出的解决方案running beyond physical memory或者beyond vitual memory limits

摘要：当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的，在执行mapreduce的时候，每个map和reduce都有自己分配到内存的最大值，当map函数需要的内存大于这个值就会报这个错误，解决方法：在mapredu 阅读全文

posted @ 2017-05-16 21:54 诸葛小四阅读(8399) 评论(0) 推荐(3)

spark启动问题，发现任务都是在localhost下面运行的，原来启动spark-shell的时候需要带主节点的参数

摘要：在Spark 集群上运行一个应用,只需通过master的 spark://IP:PORT 链接传递到SparkContext构造器在集群上运行交互式的Spark 命令, 运行如下命令：注意，如果你在一个 spark集群上运行了spark-shell脚本，spark-shell 将通过在conf/ 阅读全文

posted @ 2017-05-16 21:53 诸葛小四阅读(1358) 评论(0) 推荐(0)

Hive知识

摘要： HIVEQL CREATE DATABASE financials（创建数据库） SHOW DATABASES(显示数据库） SHOW TABLES IN 数据库（列出数据库的所有表） SHOW DATABASES LIKE 'h.*';(显示类似h以后任意多个字符） LOCATION '/MY/p 阅读全文

posted @ 2017-05-16 21:52 诸葛小四阅读(146) 评论(0) 推荐(0)

公告