挪威森林猫

摘要： 1>.条件式打断 Boolean bobo=true;int num= 0; while (bobo==true){ num+=1; if (num>10){ bobo=false; } } 通过对Boolean赋值 , 在循环过程中改变其 属性, 再次判断就可以直接退出while . 2>.直接 阅读全文

摘要： 1. shell 获取 HDFS文件个数 >适用于查看碎片程度 hadoop fs -count /user | awk '{print $2}'11(我的返回是11) hadoop fs -count /user(你的路径) 返回的是 文件夹数 文件数 大小 | awk '{print $2}' 阅读全文

摘要： 1. 自己blog 里面可以记录一些软件配置 , 常见 bug解决 , 以及知识点 但是有时候用起来却很难找, 不过 , cnblog有搜索功能 . 第一种方式:直接打开自己的一个博客 ,这里找找看就是搜索自己写的文章.快速检索. 第二种: 网站首页-->我的博客 -->管理 这样我们就进入了 找找 阅读全文

摘要： 1.在NameNode的一个节点下执行以下命令 #!/bin/bash for i in 192.168.1.101 192.168.1.102 192.168.1.103 do ssh $i "source /etc/profile;source ~/.bash_profile;/home/abb 阅读全文

摘要： >1. TDengine是涛思公司的一款提供实时插入的类数据库系统. >2.我们采用rpm安装包 , 具体安装包下载 , 去官网 , https://www.taosdata.com/cn/ >3 . 我们通过 rpm -ivh 安装包名 进行安装 , 需要root 下执行 . 安装完 , 会提示怎 阅读全文

摘要： 1.问题描述 >启动完 node1 (standby) node2(active) kill掉 node2 node1无法切换成active!状态 2.解决. 文件是 hdfs-site.xml , value里面 不要分开写 , 直接这样就行了 . 也不要写成两个 . 就卸载这样一个 proper 阅读全文

摘要： 1. Hive中 null 太多会占用大量空间 , 用这个可以减少占用 alter table test_null set serdeproperties('serialization.null.format' = ''); 2. 使用 sqoop 从mysql 和HIVE的 互相导入 mysql 阅读全文

摘要： 1. 进入DB 比如我的是 use hadoop; 2.找到需要查看的表 , 执行 desc formatted t1; 碎片文件太多 , 会让map 过多 ,然而启动map 极其耗费资源 , 甚至比计算都要费时间 . 阅读全文

摘要： 1.这是源数据以及需要转化的目标表. 我们的方法是 , 用 GROUP BY按照year分组 , 并且依次提取1月,2月,3月,4月的 num,具体实现 select year, max(case when month=1 then money else 0 end) as M1, max(case 阅读全文

摘要： ZX: 在Hadoop的map阶段 , 每个map任务都可以执行特殊的任务 , 当然 , 也包括取每个分片中最大的几个值. 然后汇总 , 再取TopN 这样的好处是 , 如果有2万个分片 , 2亿条数据 ,在Map完之后 假如是取Top10 , 那么经过Map阶段的Top10,最后只用处理2万X10 阅读全文