天宇星空

摘要： 背景：客户行为数据越积越多，公司有着挖掘客户大数据分析的需求 方案： 通过大数据仓库离线分析+presto引擎工具实现 用到的组件：hadoop2.7.4 、 hive-1.2.1(不要用2.X版本，坑很多) 、 sqoop-1.4.6 、 presto-server 、metabase(prest 阅读全文

摘要： 背景：k8s启用ipvs模块，重启以后，kube-proxy报错如下 原因： kube-proxy 版本过高 解决方法： 回退kube-proxy版本 命令： kubectl -n kube-system set image daemonset/kube-proxy *=registry.aliyu 阅读全文

摘要： https://blog.csdn.net/jerry_pan1990/article/details/101773313 阅读全文

摘要： 用tr需要新增变量，用declare或typeset需要在变量赋值前或者赋值后单独声明，都有些麻烦 此方法为bash 4.0以后新增，bash 4.0 2009年发布 $ test="abcDEF" # 把变量中的第一个字符换成大写 $ echo ${test^}AbcDEF # 把变量中的所有小写 阅读全文

摘要： Error: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/hive/warehouse/erp_produ 阅读全文

摘要： hadoop集群搭建 1.配置jdk环境 ##jdk1.8export JAVA_HOME=/mydata/jdk1.8.0_151export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/ 阅读全文

摘要： 背景： 项目加法升级，前后端接口有新增已经修改，上边后的第一天，监控告警频繁，监控大盘公网流出率顶着100%在跑 思路： 通过tcpdump抓包，抓包后的文件用wireshark分析统计一下频次、流量包大小 抓包： -A 将链路层的头最小化 -i 指定网卡 host 抓取所有11.11.11.11地 阅读全文

摘要： 获取http返回码： curl -w "%{http_code}\n" https://www.baidu.com -s -o /dev/null -w 指定获取的参数-s 不显示传输进度 比如这种 ##########100% -o 输出到哪里监控网站响应时间：curl -o /dev/null 阅读全文

摘要： 下载yaml,通过nodeport方式暴露服务端口 [root@master01 ~]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc7/aio/deploy/recommended.yaml [root@ 阅读全文

摘要： 回收持久卷问题： 1.创建pv2.创建pvc申明绑定pv3.删除pvc4.重新apply pvc.yaml文件kubectl get pvc 会发现pvc状态处于peding 原因： 持久卷回收策略默认为： Retain ,确保在创建持久卷之后将其持久化，让k8s可以再持久卷从持久卷声明中释放后仍然 阅读全文