cphmvp

摘要： 现象： 集群大面积异常，通过ambari启动不起来。逐一排查，顺序 hdfs -> mapreduce->yarn->hive -other hdfs下发现namenode ,datanode启动不起来 namenode报错如下 【namenode.NameNode: Failed to start 阅读全文

摘要： haoop集群 做好内存管理跟重要，不然经常会给抛出个 OutMemory ,内存溢出 以horntonworks给出推荐配置为样本，给出一种常见的Hadoop集群上各组件的内存分配方案。配置时通过 ambari对应修改，或者后台同步修改 。 【样本】 he final calculation is 阅读全文

摘要： 启动Hadoop之后，使用jps命令查看当前系统的java进程情况，显示： 这时可以通过进入本地文件系统的/tmp目录下，删除名称为hsperfdata_{username}的文件夹，然后重新启动Hadoop。 阅读全文

摘要： 经常有这样的场景，需要批量验证一些配置或者机器，执行一些命令。例如 echo $PATH 等等 这里分享一个批量执行脚本 脚本名称 deployCommnd.sh 运行demo : sh deployCommnd.sh 'ps aux|grep hiveserver2 |grep -v "grep" 阅读全文

摘要： 第一步：【db升级 ，先看第二步】 cd到 hive的 metastore upgrade目录 cd　/usr/hdp/2.5.0.0-1245/hive/scripts/metastore/upgrade/mysql source 历史版本至升级版本的sql 第二步： 修改ambari hivem 阅读全文

摘要： 本文转载：暂未找到原出处，如需署名 请联系 我们很荣幸能够见证Hadoop十年从无到有，再到称王。感动于技术的日新月异时，希望通过这篇内容深入解读Hadoop的昨天、今天和明天，憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇 20 阅读全文

摘要： 问题一： php客户端，链接hiveserver2 ，报错 如下 1： server.TThreadPoolServer (TThreadPoolServer.java:run(215)) - Error occurred org.apache.hadoop.hive.thrift.HadoopTh 阅读全文

摘要： ubuntu kylin ubuntu kylin ubuntu kylin wifi 这个很好解决的，16.04 默认 没有使用wifi驱动设备，默认选择的是：不使用设备1、进入到，软件和更新 > 附加驱动 >Broadcom Corporation:BCM4313......下的 使用 Broa 阅读全文

摘要： #!/usr/bin/expect -f set user [lindex $argv 0] set newpwd [lindex $argv 1] set timeout 10 spawn passwd $user expect "*password:" {send "$newpwd\r"} expect "*password:" {send "$newpwd\r"} expect eof e... 阅读全文

摘要： 用shell脚本监控进程是否存在 不存在则启动的实例，先上代码干货： processString 表示进程特征字符串，能够查询到唯一进程的特征字符串0表示存在的$? -ne 0 不存在，$? -eq 0 存在 定时执行： crontab -e0 04,12,21 * * * /bin/bash /h 阅读全文