| | | | |

2017年4月24日

摘要： 1、初始化： a)声明： from pyspark import SparkContext, SparkConf from pyspark.sql import HiveContext, Row from pyspark.sql import SQLContext, Row from pyspark 阅读全文

posted @ 2017-04-24 15:46 zz.fish 阅读(833) 评论(0) 推荐(0)

2017年4月6日

VTK在python环境下的安装和调用

摘要： vtk,很好玩的一个可视化工具，有python接口。一、安装： 1、平台：window7, python2.7 2、下载vtk: vtkpython-7.1.1-Windows-64bit.exe (http://www.vtk.org/files/release/7.1/vtkpython-7. 阅读全文

posted @ 2017-04-06 16:07 zz.fish 阅读(7130) 评论(0) 推荐(0)

2017年3月31日

spark streaming 实现 wordcount 实时统计

摘要： 1、pom.xml: 注意：此处spark-streaming的依赖试了很多版本，都不好用，最终调试成功的为下面代码中所使用的版本。 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-s 阅读全文

posted @ 2017-03-31 14:33 zz.fish 阅读(736) 评论(0) 推荐(0)

2017年1月24日

蜜罐工具kippo的安装使用

摘要：环境：虚拟机Ubuntu, Python27 下载与安装： kippo：http://kippo.googlecode.com/files/kippo-0.5.tar.gz，解压缩之后进入kippo文件夹，执行命令python setup.py install; 需安装的依赖包： Twisted-8 阅读全文

posted @ 2017-01-24 14:26 zz.fish 阅读(527) 评论(0) 推荐(0)

2016年10月28日

Spark在Windows下的安装

摘要：一、下载：官网下载spark-2.0.1-bin-hadoop2.7(http://spark.apache.org/downloads.html)的安装包；二、安装： spark解压缩，同时增加环境变量：%SPARK_HOME%：spark存放位置；PATH里增加：%SPARK_HOME%/b 阅读全文

posted @ 2016-10-28 10:46 zz.fish 阅读(326) 评论(0) 推荐(0)

2017年4月24日

2017年4月6日

2017年3月31日

2017年1月24日

2016年10月28日

公告