摘要：
由于之前已经搭建好了，今天是看视频回顾下，然后做下记录。 之前已经搭建好了Yarn集群，现在在Yarn集群上搭建spark。 1、安装spark 下载源码包：wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.0/spark-1.3.0.tgz 阅读全文
摘要：
恢复内容开始 一直想写来着，但是一直没去写，自己还是太懒了，废话不多说。 本次的使用环境是centos7，首先看下tcpdump命令的基本语法 我这里就不再截图了，上面对于 有兴趣的可以自己去看看，如果不方便的也可以查看这个帖子：https://blog.csdn.net/lgh1117/artic 阅读全文
摘要：
一、paramiko远程登录及执行命令 1.1：exec_command(cmd)远程执行命令 执行结果：执行了mkdir bb命令，但是却没有在/usr/local下执行，说明在执行第二条cmd命令时，第一条cmd命令没起作用。 所以使用exec_command(cmd)，前面一条命令并不会对后面 阅读全文
摘要：
1、下载 官网地址：http://kafka.apache.org/downloads.html 2、解压及目录介绍 3、配置 4、启动zookeeper 5、后台启动kafka 6、创建topic 7、创建生产者和消费者 注： 阅读全文
摘要：
从官网下载预编译版安装： wget https://github.com/wkhtmltopdf/wkhtmltopdf/releases/download/0.12.4/wkhtmltox-0.12.4_linux-generic-amd64.tar.xztar xvfJ wkhtmltox-0. 阅读全文
摘要：
3.永久挂载 vi /etc/fstab 看看没有的话在最末行添加命令 .host:/ /mnt/hgfs fuse.vmhgfs-fuse allow_other 0 0，此处一定注意字节对齐，不然开不了机 阅读全文
摘要：
为伊消得人憔悴 衣带渐宽终不悔 记录下今天用到的知识点，用于加强巩固以及后面查阅。 代码地址：github 阅读全文
摘要：
最近工作当中做了一个项目，这个项目主要是操作文件的。 使用fcntl 在Linux下，Python的标准库有线程的文件锁，来自fcntl模块。这个模块提供了Unix系统fcntl()和ioctl()的接口。 对于文件锁的操作，主要需要使用fcntl.flock(fd,operation)这个函数。 阅读全文
摘要：
这个问题遇到过很多次了，但是每次都没记住，用完就忘了，这次记录下。 通过关键词谷歌一下： 解决方案： 阅读全文
摘要：
今天在查看日志的时候，发现一个问题，觉得很奇怪，跑了一个多月的代码突然报错了，还是个没见过的错误。 所以今晚抽空记录下。 一、重现错误 说好的传过来的数据是json格式的呢？怎么会突然报错了呢？ 二、抓取错误数据 然后就把这条报错的数据，打印出来看下是什么样的数据。 如下图： 现在错误很明显，是由于 阅读全文