chenzechao

摘要： 1. Java版本不一致，导致启动报错。 2. Spark1和Spark2并存，启动时报错。 3.缺少Hadoop依赖包 4. 报错信息：java.lang.Error: java.lang.InterruptedException: sleep interrupted 5. 报错5 阅读全文

摘要： 待填 阅读全文

摘要： with tmp1 as ( select t1.day ,t1.value ,row_number() over(order by t1.day) as rn from ( select '2015-01-01' as day, 1 as value union all select '201... 阅读全文

摘要： ### 读取hive的表结构，生成带comment的视图建表语句 # 读取配置文件中的表并进行遍历 grep -v '^#' tablesFile|while read tableName do status=1 viewName=$(echo ${tableName}|sed "s/^dwd_/dwd_cms_out_l_/i"|sed "s/^dws_/dws_cms_o... 阅读全文

摘要： 问题描述：使用正确的用户名和密码可以登录到Git代码仓库，但是在本地无法使用Git bash命令行的方式拉取代码。 问题原因：第一次使用Git bash方式拉取代码时，会根据当前的用户和密码生成一串.ssh的密钥，由于每三个月会要求更换一次密码，导致之前生成的密钥无法跟最新的密码匹配，所以出现了可以 阅读全文

摘要： 在git push的时候，有时候我们会想办法撤销git commit的内容 1、找到之前提交的git commit的id git log 找到想要撤销的id 2、git reset –hard id 完成撤销,同时将代码恢复到前一commit_id 对应的版本 3、git reset id 完成Co 阅读全文

摘要： 1. 数据序列化 a. 使用Kryo序列化 conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")2. 内存调整 a. 如何确定对象的内存使用情况 spark.memory.fraction = 0.6 / 阅读全文

摘要： ## step 1 :初始化空库 [root@vm_test backup]# mkdir devops [root@vm_test backup]# cd devops/ [root@vm_test devops]# git init #初始化空库 ## step 2 : 拉取remote的all objects信息 [root@vm_test dev... 阅读全文

摘要： git clone git://github.com/mobz/elasticsearch-head.git yum install git npm cd elasticsearch-head npm install -g grunt --registry=https://registry.npm.taobao.org npm config set strict-ssl false ... 阅读全文

摘要： Spark2.3.0依赖的netty-all-4.1.17.Final.jar 与 hbase1.2.0依赖的netty-all-4.0.23.Final.jar 冲突 Ref: https://blog.csdn.net/liumu243/article/details/81111273 阅读全文