• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
呢喃的歌声
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

2016年8月17日

CDH hive的安装
摘要: tar zxvf 解压包 配置环境变量 export HIVE_HOME=/usr/local/soft/hiveexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin source生效 y 阅读全文
posted @ 2016-08-17 18:24 呢喃的歌声 阅读(712) 评论(0) 推荐(0)
 
CDH hadoop的安装
摘要: 1 先拷贝tar包到目录底下(tar 包解压 tar zxvf) 2 : 1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz,上传到虚拟机的/usr/local目录下。(http://archive.cloudera.com/cdh5/cdh/5/)2、将hadoop包进行解 阅读全文
posted @ 2016-08-17 17:19 呢喃的歌声 阅读(301) 评论(0) 推荐(0)
 
shell脚本处理大数据系列之(一)方法小结
摘要: 转自:http://longriver.me/?p=57 方法1: 单进程处理大规模的文件速度如(上million量级)比较慢,可以采用awk取模的方法,将文件分而治之,这样可以利用充分的利用多核CPU的优势 1 2 3 4 for((i=0;i<5;i++));do cat query_ctx.2 阅读全文
posted @ 2016-08-17 10:58 呢喃的歌声 阅读(2555) 评论(0) 推荐(0)
 
linux 命令查看CPU和内存信息
摘要: 几个cpu more /proc/cpuinfo |grep "physical id"|uniq|wc -l 每个cpu是几核(假设cpu配置相同) more /proc/cpuinfo |grep "physical id"|grep "0"|wc -l cat /proc/cpuinfo | 阅读全文
posted @ 2016-08-17 10:14 呢喃的歌声 阅读(1352) 评论(0) 推荐(0)
 
 

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3