vartual

摘要： 执行hadoop的关闭脚本，出现没有可停止的namenode、datanode、secondarynamenode等，如下： 可是输入 jps 命令，发现hadoop 已经启动了，而且 HDFS连接正常。 后来参考一篇博文，原来 hadoop启动后，进程信息默认保存在 /tmp 文件夹。信息如下： 阅读全文

摘要： hdfs的写流程，如下图： 1、使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录(账本上记录一条)，否则会让客户端抛出异常； 2、当客户端开始写入文件的时候，开发库 阅读全文

摘要： 问题：进入hive时报错，如下所示 原因是： spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。 解决办法是：修改bin目录下的hive文件 找到下面内容 将紫色部分改 阅读全文

摘要： 创建表给修改时间为当前时间： CREATE TABLE kbdatamart.m_concern_staff(reporting_date date,target varchar(50),m_value varchar(10),modifytime timestamp NULL default CU 阅读全文

摘要： SQL语句：SELECT STR_TO_DATE('30-Apr-2019','%d-%b-%Y') 执行结果：2019-04-30 mysql总结比较详细的日期函数： https://www.cnblogs.com/ggjucheng/p/3352280.html 阅读全文

摘要： oracle使用管理员执行下面命令，就能获得oracle的关键字： select * from v$reserved_words order by keyword asc; 以下是oracle 11.2.0.1.0中执行的结果（供参考）： 阅读全文

摘要： 1、第一个副本放在和Client相同机架的节点上（如果Client不在集群范围，第一个Node是随机选取不太满或者不太忙的节点，离上传Client最近的节点（减少网络传输的时间））2、第二个副本放在与第一个机架不同的机架中的任意节点上3、第三个副本放在与第二个节点所在机架的不同的节点. 如图所示： 阅读全文

摘要： SELECT to_date(to_char(TRUNC(sysdate,'mm'),'yyyy/mm'),'yyyy/mm') from dual;--当月第一天 结果：2019/1/1select extract(year from sysdate)　from dual; --当前年 结果：20 阅读全文

摘要： 1、LEFT()函数是一个字符串函数，它返回具有指定长度的字符串的左边部分。 LEFT(Str,length); 接收两个参数： str：一个字符串； length：想要截取的长度，是一个正整数； 2、示例： SELECT LEFT('2019-01-30',0); SELECT LEFT('',3 阅读全文

摘要： 恢复内容开始 1.不能用原始的hostname 1.1.修改/etc/hosts文件 vim /etc/hosts 1.2.修改/etc/sysconfig/network文件 vim /etc/sysconfig/network 2.安装时所需要的依赖包 下载地址见上一随笔！ rpm -ivh c 阅读全文