摘要：
1、替换源/bin/bash -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)" 2、安装软其他软件出现报错 Installing mysql dependency: icu4c fatal: n 阅读全文
摘要：
每一个spark-context都有个监控网址：http://<driver-node>:4040，若存在多个则端口号为4041、4042 默认监控只在运行时有效，若作业运行完仍需要监控，则开启spark.eventLog.enabled 如果应用日志存在，仍可构造监控UI： ./sbin/star 阅读全文
摘要：
使用./sbin/start-master.sh，启动后，master将会打印出spark://HOST:PORT,可以用来连接workers 监控：默认为http://localhost:8080/ 启动worker连接到master：./sbin/start-slave.sh <master-s 阅读全文
摘要：
SparkContext：从Spark2.0开始之后，spark使用全新的SparkSession接口代替Spark1.6的的SQLContext和HiveContext 1 //set up the spark configuration and create contexts 2 val spa 阅读全文
摘要：
#!/usr/bin/env bash 与#!/usr/bin/bash #!/usr/bin/env bash提供了不同系统的灵活性，只要程序在$PATH中 dirname\basename dirname:父目录 `dirname $0`:获取当前脚本的目录；curpath=$(cd $(dir 阅读全文
摘要：
Spark连接到HDFS报错：ConnectException:Call From to master:8020 原因：Hadoop的master端口设置为9000，core-site.xml： 而Spark访问的默认端口为8020，端口不一致导致 解决方案： 修改core-site.xml 修改h 阅读全文
摘要：
hdfs haadmin -getServiceState nn1 hdfs haadmin -transitionToActive --forcemanual nn1 阅读全文
摘要：
Ubuntu 64 18.10 VMware 15.0.2 Win10 apache-zookeeper-3.5.5-bin.tar.gz 修改/etc/hosts，设置IP:hostname 设置hostname：修改/etc/hostname;修改/etc/cloud/cloud.cfg，pre 阅读全文
摘要：
Win10 Ubuntu 64 18.10 FileZilla 3.43.0 查看是否启动ssh服务：ps -ef|grep ssh 启动ssh服务：service sshd start 查看ssh服务网络连接状态：netstat -ntlp 查看防火墙状态 防火墙命令说明 1 sudo ufw e 阅读全文
摘要：
Win10 VMware 15.0.2 Ubuntu 18.10 hadoop-2.7.7.tar.gz jdk-8u212-linux-x64.tar.gz sbt-1.2.8.tgz scala-2.12.8.tgz spark-2.4.3-bin-hadoop2.7.tgz 1 # set h 阅读全文