我的空中楼阁

摘要：记录下自己使用idea导入spark examples项目的过程。 spark examples 项目可以给我们提供很多有益的参考，经常看看这些代码有助于提高我们写scala代码的水平。 只导入spark-example项目，其他不管，这个项目使用maven管理依赖，导入的时候选择maven. 我并 阅读全文

摘要：spark1.4起，在启动master进程时候，同时会有一个restful的服务器，可以接受RESTFUL的请求， 以下是提交应用的示例 示例spark-streaming程从kafka中读取数据并写入到elasticsearch,都是在容器中使用的，遇到如下问题：org.apache.spark. 阅读全文

摘要：redhat 需要注册后才能使用yum,所以有以上的操作。 阅读全文

摘要：java.nio.charset.coderresult.throwexception（coderresult.java.281） 把下面的代码 val lines = scala.io.Source.fromPath(fileName) 改为 val lines = scala.io.Source 阅读全文

摘要：kafka-topics.sh --describe --zookeeper xxxxx:2181 --topic testkafka-run-class.sh kafka.tools.GetOffsetShell --topic test --broker-list xxxxxx:9092 --t 阅读全文

摘要：测试的时候，在VM中安装了一个minimal安装的centos7.因为发现在已经安装好环境的系统中，执行下面，并不会下载依赖的rpm.#下载docker-ce和其需要的依赖rpm #发现这个包已经存，所以只用更新就可以 #案装其他包与docker-ce 可按下面的顺序安装　或者使用　rpm -ivh 阅读全文

摘要：cisco anyconnect linux 官方的下载需要登录验证，比较麻烦，可以从这个地方直接下载使用。支持ubuntu,centos. cisco anyconnect vpn client我本机是centos7，验证成功。我原来使用的是iked,qikea这两个软件来上网，但是发现这个有个问 阅读全文

摘要：项目需求，有一个spark-streaming的程序，读kafka的数据，需要构建一个不使用hadoop的spark 以下建立的镜像参考网络，可以稍加修改就可以使用不同的版本。 可单独启动master,worker来构建一个standaline的集群。 也可以默认启动，启动后，构建的是一个maste 阅读全文

摘要：项目xxx(后端),xxx-ui前端（前后端分离的项目） 依赖mysql,elasticsearch.分别制作了四个镜像来做这件事。希望可以制作跨主机的部署，使用了swarm，以下是学习记录。 参考　https://www.cnblogs.com/xishuai/p/docker-swarm.htm 阅读全文