06 2020 档案
摘要：import java.io.InputStream; import java.util.Properties; public class ConfigurationManager { //Properties对象采用private修饰, 表示是其私有,外界不可改变 private static P
阅读全文
摘要：一般情况下 这种可以直接插入 字符串已经包含进去stmt.execute("insert into t20 values(now,"ASX",700,400)"); 但是如果遇到要插入对象替换比如String a="ADVC";那么需要将 " 符号也写进去 , 需要用到转义字符 \ , 也就是你想写
阅读全文
摘要：1. 原因: 一般hadoop 集群是两个或多个NameNode , 但是一个处于standby , 另一个active , 通过设置可以忽略不确定谁是active的情况 2. import org.apache.spark.sql.SparkSession object Spark_HDFS {
阅读全文
摘要：函数 1.hive函数分类 标准函数 自定义标准函数称之为 UDF 传递一行数据，返回一个结果 聚合函数 自定义聚合函数称之为 UDAF 传递多行数据，返回一个结果 group by sum count 表生成函数 自定义表生成函数称之为 UDTF 传递一行数据，返回多行数据 explode 2.函
阅读全文
摘要：1. 查看文件编码格式 file -i filename 其中 charset=iso-8859-1 就是ansi的文件格式 如何转化为 UTF-8 iconv -f ansi -t utf8 xxxx.csv -o xxxx2.csv 转化后就变为正常显示. 可用于导HIVE前文件格式的转换
阅读全文
摘要：1.在使用Spark的 sum() 算子经常遇到结果被自动转化为科学技术 如何正常显示呢 假如 n结果会是一个科学计数法 val n=data.map(x=>x.toInt).sum() 然后我们 val a = BigDecimal(n) println(a) 这样打印出来的结果就是正常的大数
阅读全文
摘要：~ 以下博文 https://www.cnblogs.com/tongxupeng/p/10435976.html hash 分区 范围分区
阅读全文
摘要：1.请先创建好命名空间 .然后再创建表 . create 'gld:student',{NAME=>'cf1', VERSIONS=>5}, {SPLITS => ['1', '2', '3', '4', '5', '6', '7', '8', '9']} 我这里的namespace是提前创建好了的
阅读全文
摘要：1. 使用yarn 提交 , 在 自己定义的yarn 日志服务器上面能看到任务记录 . spark-submit --master yarn --class com.Spark_HDFS ./SXC-1.0-SNAPSHOT.jar 2.使用 Spark的 自己的端口提交 spark-submit
阅读全文
摘要：1. 线程是可以有生命周期的,一般命令执行完就会自动退出 package com; import java.util.concurrent.Executors; import java.util.concurrent.ThreadPoolExecutor; public class MyThread
阅读全文
摘要：1 . 线程安全意味着对某些类创建的对象执行方法时, 对其进行上锁 . 其很多方法都加了 synchronized , 也就是同时刻 只能有一个线程去执行一个方法 . 关键的获取长度 , 增加以及其它 , 都是加了锁的 .所以是线程安全的 , 但是 它的效率不高`
阅读全文
摘要：1. 用idea的maven项目 package 打包, 去 Linux 执行 spark-submit --class com.Spark_HDFS --master local ./SXC-1.0-SNAPSHOT.jar 遇到 找不到主类 , 这时候需要更加稳定的打包方式 去打包 scala
阅读全文
摘要：1. 位于 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件 这里记录的是WEB访问的端口 那么我们需要打开历史服务 mr-jobhistory-daemon.sh start historyserver 再 浏览器输入 node1:19888 就可以直接看到执行
阅读全文
摘要：abc=ssf:goof:navicat abc2=${abc//:/ } #双斜杠是全局替换 , 而不是替换一个就结束 echo $abc2 结果: ssf goof navicat 注意 ,abc/:/空格 是冒号替换成空格或其它! abc//:/空格 是把所有的冒号替换成其它!
阅读全文
摘要：#!/bin/bash a="node1 node2 node3 node4 node5" OLD_IFS="$IFS" IFS=" " arr=($a) IFS="$OLD_IFS" for s in ${arr[@]} do echo "$s" done 第二种: 用awk a="node1 n
阅读全文
摘要：1. 比如一个字符串是 a="hello\nI love\nyou\nalso" 但是我们想echo $a并做到换行 那么则需要 echo -e "$a" helloI loveyoualso
阅读全文
摘要：1. xml文件一般都是key-value形式 , 那么我们需要先定位到key ,再取下一行进行整体替换 #!/bin/bash #需要修改的value的 key a=ha.zookeeper.quorum #需要修改成的值 b="node1:2181;node2:2181;node3:2345"
阅读全文
摘要：核心代码如下 object Sprk { import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.SparkSession def main(args: Array[String]): Unit = { Logger.g
阅读全文
摘要：1. 需要修改 hive的 conf 下 hive-site.xml 添加 <!--这是service2的配置--> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property
阅读全文
摘要：1.求互相为好友一般原文件形式如下 , 第一步需要炸开 , 则需要使用 lateral view A: BCDEF B: CDEF C: ASD 反正最后我处理的文件是 ,我只是提供这种思路. 2. 第二步 , 根据字典排序 select if(substr(str,1,1)>substr(str,
阅读全文
摘要：1.外网 IP , 也就外部网络能访问到的实际机器地址. curl icanhazip.com curl http://pv.sohu.com/cityjson 2>> /dev/null | awk -F ' " '{print $4} (经测试 , 腾讯云主机也是可以查看外网 IP 的) 2.想
阅读全文
摘要：1.常见的我们是进入它的消费者模式 , 在里面输入 , 但是如何封装到shell中 kafka-console-producer.sh --broker-list node1:9092 --topic sky 比如我只想把 hello 这条消息发送到Topic sky里面 echo "hello"
阅读全文
摘要：MySQL4种索引方式 1.https://www.jianshu.com/p/486a514b0ded
阅读全文
摘要：1.Linux 的 find 命令 https://www.cnblogs.com/musen/p/11670392.html
阅读全文
摘要：import time time.sleep( seconds) , 可以看到 在毫秒下是相对准确, 但不能在毫秒级以下 也就是python的 sleep最多支持1ms的整数倍 , 不能是0.5ms , 那会是无效的 所以你不可能获取两个时间 , 时间间隔在1ms以内 ,只能比1ms大
阅读全文
摘要：1. 字符串截取 , 这里列名是 name ABCDEFG substr( name , 0 , 3 ) 意思是取前三个 ; ABC substr( name , -3 ) 意思是取后三个 ; EFG 3.
阅读全文
摘要：1 . awk 查看文件大小 比如 ls -alh |awk /TD/ | awk '{print $5}' ls -alh 返回文件详情列表 awk /TD/ 返回有 TD 字符的那一行 awk '{print $5}' 返回这一行的 ls -alh命令的第5列 , 也就是文件大 2. 获取命令结
阅读全文
摘要：1. TDengine支持时间戳 , 日期型 , 毫秒 , 微秒(建database需要指定 precision 'us';) import datetime import taos conn = taos.connect(host="192.168.1.101", user="root", pas
阅读全文
摘要：s="$(hive -e "use hadoop;show create table y1" | grep hdfs)" 此时把位置赋予给了变量 s echo $s 命令拆分: hive -e "use hadoop;show create table y1" (注意 , 这是 hive在shell
阅读全文
摘要：1>.条件式打断 Boolean bobo=true;int num= 0; while (bobo==true){ num+=1; if (num>10){ bobo=false; } } 通过对Boolean赋值 , 在循环过程中改变其 属性, 再次判断就可以直接退出while . 2>.直接
阅读全文
摘要：1. shell 获取 HDFS文件个数 >适用于查看碎片程度 hadoop fs -count /user | awk '{print $2}'11(我的返回是11) hadoop fs -count /user(你的路径) 返回的是 文件夹数 文件数 大小 | awk '{print $2}'
阅读全文
摘要：1. 自己blog 里面可以记录一些软件配置 , 常见 bug解决 , 以及知识点 但是有时候用起来却很难找, 不过 , cnblog有搜索功能 . 第一种方式:直接打开自己的一个博客 ,这里找找看就是搜索自己写的文章.快速检索. 第二种: 网站首页-->我的博客 -->管理 这样我们就进入了 找找
阅读全文
摘要：1.在NameNode的一个节点下执行以下命令 #!/bin/bash for i in 192.168.1.101 192.168.1.102 192.168.1.103 do ssh $i "source /etc/profile;source ~/.bash_profile;/home/abb
阅读全文
浙公网安备 33010602011771号