Thinking in BigData

摘要： 1 下载客户端 官方下载地址：https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads.html 下载 Basic Package (RPM) SQL*Plus Package (RPM) 2 阅读全文

摘要： 控制台操作磁盘扩容后 1 安装 # yum install cloud-utils-growpart# yum install xfsprogs 2 查看所有磁盘 # fdisk -l 3 查看分区大小 # df -h 4 磁盘扩容 # growpart /dev/vda 1 格式：growpart 阅读全文

摘要： # top top - 21:21:51 up 207 days, 1:30, 5 users, load average: 0.90, 0.79, 1.62 Tasks: 249 total, 1 running, 246 sleeping, 2 stopped, 0 zombie %Cpu(s) 阅读全文

摘要： docker启动openjdk后，可以查看进程 # docker exec -it XXX jps 10 XXX.jar 可见启动的java进程id一直为10，然后可以执行jvm命令，比如 # docker exec -it XXX jstack 10 # docker exec -it XXX j 阅读全文

摘要： jenkins安装启动后，使用systemctl来进行进程监控 # systemctl enable jenkins 但是还是经常发生jenkins进程挂了，不会自动重启，通过systemctl查看状态为： # systemctl status jenkins ● jenkins.service - 阅读全文

摘要： marathon提供多种健康检查方式 常用的有TCP和HTTP， TCP检查端口是否存在，存在则认为实例健康； HTTP检查指定URL的HTTP返回码，返回码正常（2xx、3xx）则认为实例健康； 这两种方式在重启过程中会有差别： 1）TCP：由于端口存在到服务可用之间有一段时间，这段时间新的实例被 阅读全文

摘要： hive和mysql数据互导，首先想到的是sqoop，并且可以和调度框架（比如oozie等）配合配置定时任务，还有一种更简单的方式是通过spark-sql： CREATE OR REPLACE TEMPORARY VIEW tmp_tbl_test USING org.apache.spark.sq 阅读全文

摘要： 一 创建秘钥 1 Macbook $ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key ($HOME/.ssh/id_rsa): Enter passphrase ( 阅读全文

摘要： spark 2.4 spark sql中执行 set hive.exec.max.dynamic.partitions=10000; 后再执行sql依然会报错： org.apache.hadoop.hive.ql.metadata.HiveException: Number of dynamic p 阅读全文

摘要： impala在一个select中执行多个count distinct时会报错，比如执行 select key, count(distinct column_a), count(distinct column_b) from test_table group by key 会报错 Query subm 阅读全文