摘要： hbase安装 下载 wget http://apache.gree.com/apache/hbase/hbase-1.2.11/hbase-1.2.11-bin.tar.gz tar -zxvf base-1.2.11-bin.tar.gz -C /usr/local/ mv /ussr/loca 阅读全文

摘要： # nginx.conf文件示例user nobody; worker_processes 8; error_log varlog/nginx/error.log error; #pid logs/nginx.pid events { use epoll; worker_connections 50 阅读全文

摘要： Spark 2.3.3 Kafka 2.11-1.0.2 Java jdk1.8.0_191 Hbase 1.2.11 阅读全文

摘要： 1.在脚本中导入pyspark的流程 import os import sys spark_name = os.environ.get('SPARK_HOME',None) # SPARK_HOME即spark的安装目录，不用到bin级别，一般为/usr/local/spark if not spa 阅读全文

摘要： spark streaming的相关概念： spark的核心是创建一个RDD对象，然后对RDD对象进行计算操作等 streaming可以理解为是 一个连续不断的数据流 ，然后将每个固定时间段里的数据构建成一个RDD，然后就会创一连串的RDD流，这就是DStream(streaming的主要操作对象） 阅读全文

摘要： centos 7.2 spark 2.3.3 scala 2.11.11 java 1.8.0_202-ea spark-shell中为scala语法格式 1.distinct 去重 val c = sc.parallerlize(List("Gnu","Cat","Rat","Dog","Gnu" 阅读全文

摘要： scala版 ，基本名词概念及 rdd的基本创建及使用 var conf = new SparkConf() var sc: SparkContext = new SparkContext(conf) val rawRDDA = sc.parallelize(List("!! bb ## cc"," 阅读全文

摘要： xpath选择器是根据元素在html中的路径来定位选择元素的。 一般在selenium中的select_by_xpath(),scrapy中的xpath selector中使用xpath语法。 ./a 表示相对路径，紧跟当前路径下的直接子元素a .//a 表示相对路径，当前路径下的子孙节点元素a / 阅读全文

摘要： 传输文件 import paramikoimport os def download_from(ip,u,p): file_list=['file2',file3','file4'] file_path="/home/projs/" client=paramiko.Transport((ip,22) 阅读全文

摘要： cmd /k "cd /d E:/site/collect/" 打开命令行，并跳转到指定路径E:/site/collect/ cmd /k "cd /d E:/register_fabric_python2/ && python2_env\scripts\activate" 打开命令行，跳转到指定路 阅读全文