韩若明瞳

摘要： css 元素垂直左右居中 flex 布局, 垂直居中: align-items:center;, 左右居中: justify-content: center; 包括行和块级元素 grid 布局, 垂直居中: align-content: center;, 左右居中 justify-content: 阅读全文

摘要： liunx系统下有个定时任务管理文件,输入一下进行编辑 crontab -e 刚开始里面什么都没有,按照一下格式添加 其中 2>&1 是执行命令的时候报错会一样写进文件 >这里可以运行.sh的命令:其中aiqiyi.sh是一个运行.py的python脚本 写好这个脚本运行方式: >使用 ./aiqi 阅读全文

摘要： 加入的jar包 >spark-streaming-kafka的操作 依赖包: >Dstream 代码: >DirectStream 阅读全文

摘要： 1 >spark的UDF操作 理解:就是在sql中查询语句中提供了max(),avg(),min(),count()等函数操作, 同样的在spark中也有这些函数,但是用户的需求是多变的,比如: 很明显,不管是使用length(name)或是name.length都不可能实现这种效果, 于是spar 阅读全文

摘要： 参考官网:http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html 写完之后在idea 打成jar包,将jar包写到liunx下的根目录下 然后配置环境 如果不配置环境会出现以下错误 运行过程出现的bug: 原因:我的 阅读全文

摘要： json格式 代码: 读取json格式的文件 代码: 读取远程数据库中的表数据,并写入磁盘 pom.xml依赖和插件的配置(idea) 阅读全文

摘要： 参考文档:https://files.cnblogs.com/files/han-guang-xue/spark1.pdf 参考网址:https://www.cnblogs.com/wangrd/p/6232826.html 对于spark个人理解: spark与mapreduce最大不同之处:sp 阅读全文

摘要： spark.read.textFile和sc.textFile的区别 val rdd1 = spark.read.textFile("hdfs://han02:9000/words.txt") //读取到的是一个RDD对象 val rdd2 = sc.textFile("hdfs://han02:9 阅读全文

摘要： RDD:(spark进行计算的基本单位(弹性分布式数据集)) 1.获取RDD 加载文件获取 val = rdd = sc.texFile() 通过并行化获取 val rdd = rdd1 = sc.parallelize() 2.有关rdd常用方法 3.　转换(Transformation): 动作 阅读全文

摘要： 1.jdk环境 2.scala安装和环境配置 3.spark 配置spark-env.sh 4.配置slaves(worker坐在的机器) 5.避免与hadoop启动命令冲突 修改.sh 6.jdk 将配置 拷贝到其他两个机器 刷新环境变量: source /etc/profile 7.启动spar 阅读全文