2017年11月19日

Maven: 自动远程部署

摘要： 1. 在settings.xml中的Servers节点中增加Server的登录信息： 2. 在pom中的build节点增加extensions内容： 3. 在plugin中增加plug 4. 在命令行执行： mvn clean package wagon:sshexec wagon:upload-s 阅读全文

posted @ 2017-11-19 22:33 张叫兽的技术研究院 阅读(251) 评论(0) 推荐(0)

HUE，大数据的SQL Shell

摘要： 1. HUE需要安装SASL 发现异常： Could not install table: Error creating table sample_07: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mecha 阅读全文

posted @ 2017-11-19 22:28 张叫兽的技术研究院 阅读(725) 评论(0) 推荐(0)

spark减少提交jar包处理

摘要： spark一个应用，算上依赖一百多兆。每一次都如此，坑。 首先是<packing>jar</packing>这只为打包为jar，在plugin中增加一个assembly插件，这个插件将会生成一个全包（包括用户代码以及全部依赖）细节见文末，配置的打包将会生成一个只有用户代码的jar包。 将全包以及用户 阅读全文

posted @ 2017-11-19 22:19 张叫兽的技术研究院 阅读(1303) 评论(0) 推荐(0)

maven的配置文件取不同版本

摘要： 1. 两个地方需要配置首先是要定义配置源，dev/test/prod对应的配置源需要指定；这是灵活的，可变的；其次要定义配置文件，该配置文件里面的内容采用占位符的方式来编制，在编译打包的过程中要动态根据配置源来进行填充。2. 定义配置分类对于第一个地方，配置分类，是要在maven的pom文件中的<p 阅读全文

posted @ 2017-11-19 16:58 张叫兽的技术研究院 阅读(442) 评论(0) 推荐(0)

kudu安装以及kudu的坑

摘要： 本文描述的是kudu在cloudera的安装。 首先cloudera 5.11.1版本尽管可以直接在add Services中看到kudu，但是其实并没有集成parcels，而且也不想kafka提示需要安装parcel；我是问了磊子小哥才知道需要手动安装parcels； 其实手动安装parcels很 阅读全文

posted @ 2017-11-19 16:42 张叫兽的技术研究院 阅读(464) 评论(0) 推荐(0)

数据分析的最终目的

摘要： 数据分析的最终目的是什么，是预测未来，预测的基准是什么模型，历史数据的用途就是形成模型，形成的过程就是数据建模 阅读全文

posted @ 2017-11-19 15:28 张叫兽的技术研究院 阅读(334) 评论(0) 推荐(0)

dcos的问题汇总

摘要： . group 'docker' does not exist 需要手工创建docker组，这一步本来应该是在安装docker的时候来完成的，但是采用yum install的方式不行，需要添加一个docker的repo然后才能够安装。 2. ssh: connect to host 10.1.108 阅读全文

posted @ 2017-11-19 15:26 张叫兽的技术研究院 阅读(2707) 评论(0) 推荐(1)

卸载DCOS

摘要： 再次安装，已经是隔了两天，我打算换一台机器作为boot机器，但是发现报错，告知部署设备已经安装了dcos；看来需要卸载：uninstall-master.sh uninstall-agent.sh 这里记录一下，因为rm -rf 后面没有加绝对路径（直接写的文件名字），而导致dcos.target以 阅读全文

posted @ 2017-11-19 15:11 张叫兽的技术研究院 阅读(1070) 评论(1) 推荐(1)

安装DCOS，关于docker异常引发的调查

摘要： 入门DCOS，刚开始安装，碰到了一个异常： Bind for 0.0.0.0:9000 failed: port is already allocated. 调试这个问题花费了好长时间，因为无法通过netstat以及lsof看到究竟是什么应用占用了程序；后来我才发现原来是因为docker的原因；如果 阅读全文

posted @ 2017-11-19 15:09 张叫兽的技术研究院 阅读(7181) 评论(0) 推荐(0)

搭建DNS服务器-bind

摘要： 1. 安装 yum install -y bind-chroot yum install -y bind-utils service named-chroot start 2. 修改配置 增加一个域名解析： 在/etc/namd.conf中增加一个域（zone，这个步骤并不是必须，必要性有待验证）： 阅读全文

posted @ 2017-11-19 12:28 张叫兽的技术研究院 阅读(634) 评论(0) 推荐(0)

导航