星回中道

摘要： 一、操作系统CentOS7 或ubuntu LTS 18.04 上传jar包，修改权限。 [test@localhost software]$ pwd /var/software [test@localhost software]$ ll -rwxr--r-- 1 test test 1443182 阅读全文

摘要： 一、测试新项目 public class EncodeTest { public static void main(String[] args) { System.out.println("sun.jnu.encoding >>>" + System.getProperty("sun.jnu.enc 阅读全文

摘要： [root@localhost ~]$ cat /etc/resolv.conf nameserver 192.168.1.100nameserver 114.114.114.114nameserver 8.8.8.8 阅读全文

摘要： window系统 1. anaconda 或python spark环境变量 2. 配置spark home D:\Develop\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.6 3. C:\Users\Administrator>pip install py4j python for java cpython c 与java交互就... 阅读全文

摘要： python 解释型语言。 常用的称为cpython Python目前有两个版本，Python2和Python3，最新版分别为2.7.13和3.6.2，现阶段大部分公司用的是Python2，Life is shot, you need Python. 人生苦短，我用Python。 4、Python优缺点  简单————Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉 阅读全文

摘要： 前段时间公司做接口封装。 领导推荐一种封装规范。 processor : 传入string[] params, 实现逻辑自己去根据processor接口规范实现 init(params) 和 execute() 对于每个接口形成参数模板，初始化，执行之后，返回实体，得到有效实体，保存到数据库。 相当于对processor 的方法体进行参数化。 与storm drpc 的LinearDRP... 阅读全文

摘要： 如下拓扑图 ## 上表代码输出 11!!!,22!!! 阅读全文

摘要： ./kafka-topics.sh -zookeeper node2:2181,node3,node4 --create --topic t0425 --partitions 3 --replication-factor 3 阅读全文

摘要： discretized 离散化的 http://spark.apache.org/docs/1.6.0/streaming-programming-guide.html#overview [root@node5 ~]# yum install nc [root@node5 ~]# nc -lk 9999 package com.bjsxt.spark; import java.util.Array 阅读全文

摘要： Spark on Hive • Hive只是作为了存储的角色 • SparkSQL作为计算的角色 – Hive on Spark • Hive承担了一部分计算（解析SQL，优化SQL...）的和存储 • Spark作为了执行引擎的角色 Predicate n. 谓语，述语 adj. 谓语的，述语的 v. 使……基于；断言；暗示 谓词下推 （条件往下压了，） transient 英 [ˈtrænzi 阅读全文