我的空中楼阁

摘要：Drill doc, https://drill.apache.org/docs/hive-storage-plugin/ 发现在国内访问的时候有些标签反应还是很慢，因为它访问了gooleapi的缘故吧。故连接vpn后，访问效果好了很多。 尝试Drill的原因是，在公司开发的项目一直用Hive，但在测试阶段，有些交互式查询想快些获取到结果，但是hive就是不给力，而且当前的版本不支持使用spa... 阅读全文

摘要：---forget root password restart your linux system press 'e' when start. press 'e' again then choose kernel ..… item add space 1 or space single then press 'b' then passwd input new ... 阅读全文

摘要：#数组的声明与遍历 animals=("a dog" "a cat" "a fish") #wrong ways to use this for i in ${animals[*]}; do echo $i; done for i in "${animals[*]}"; do echo $i; do 阅读全文

摘要：vi cusor : 0 : to the beginning of the current line $ : to the end of the current line G : to the last of the file gg : to the beginning of the file Delete: dd : delete the current line dG ... 阅读全文

摘要：$((expression))echo $(2+2) :wrongecho $((2+2)) : rightecho Front-{A,B,C}-BackFront-A-Back Front-B-Back Front-C-Backecho start{1..5}end start1end start... 阅读全文

摘要：If you use nohup myscript.sh , You beeline scripts may not work, Pay attention to this in your job. 阅读全文

摘要：hadoop shell运行的时候不会报这个错误，因为我已经重新在64位机上编译了源文件，并把so文件复制到hadoop的native目录下，而且环境变量也设置正确了，所以hadoop本身没有问题。 但在启动spark相关的shell时就会报这个问题。 经过查找，发现知乎上有人问了这个问题，我尝试照回答操作了，问题解决。 主要是jre目录下缺少了libhadoop.so和libsnappy.... 阅读全文

摘要：spark-shell --master=spark://namenode01:7077 --executor-memory 2g --driver-class-path /app/spark141/lib/mysql-connector-java-5.1.6-bin.jar hdfs dfs -put README.md ./ val file=sc.textFile("hdfs:///... 阅读全文

摘要：给namenode搭建了HA,然后根据网上的配置也配置了secondary namenode, 但是一直没有从日志中看到启动secondnary namenode，当然进程也没有。 找了很多资料，按照资料配置了，执行 hdfs getconf –secondaryNameNodes Incorrect configuration: secondary namenode address df... 阅读全文