Scala语法2
摘要：
###练习 package scala_01.practice import org.junit.{Before, Test} import scala.collection.immutable import scala.collection.immutable.StringOps import s 阅读全文
posted @ 2021-11-10 22:53 糟糟张 阅读(71) 评论(0) 推荐(0) 编辑
2021年11月10日 #
2021年11月9日 #
Spark算子
摘要：
###算子分类 转换算子是将一个RDD变成另一个RDD之间的转换，懒执行，需要操作算子触发执行 操作算子不能将一个RDD变成另一个RDD，每一操作算子都会触发一个job 可以通过算子的返回值去判断 该算子是转换/操作算子 ###转换（Transformations）算子 ####Map import 阅读全文
posted @ 2021-11-09 23:58 糟糟张 阅读(107) 评论(0) 推荐(1) 编辑
2021年11月8日 #
spark搭建
摘要：
1、上传解压，配置环境变量 配置bin目录 2、修改配置文件 conf cp spark-env.sh.template spark-env.sh 增加配置 export SPARK_MASTER_IP=master export SPARK_MASTER_PORT=7077 export SPAR 阅读全文
posted @ 2021-11-08 22:07 糟糟张 阅读(102) 评论(0) 推荐(0) 编辑
Spark中的Wordcount
摘要：
###通过scala语言基于local编写spark的Wordcount import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(arg 阅读全文
posted @ 2021-11-08 20:08 糟糟张 阅读(531) 评论(0) 推荐(0) 编辑
2021年11月4日 #
Scala语法1
摘要：
###main方法和def 函数 package scala_01 /** * main方法只能放在object中运行 * object 修饰的类 就相当于静态类 也相当于代码加载到虚拟机中的 “类对象” * 类中的方法及属性 相当于自动加上了 static * 可以直接通过 “类对象”（类名）直接 阅读全文
posted @ 2021-11-04 22:09 糟糟张 阅读(69) 评论(0) 推荐(0) 编辑
2021年10月31日 #
爬取瓜子二手车代码
摘要：
###setting.py中 ROBOTSTXT_OBEY = False ###guazispider.py import json from ..items import CarItem import scrapy from fake_headers import Headers header 阅读全文
posted @ 2021-10-31 16:44 糟糟张 阅读(631) 评论(0) 推荐(0) 编辑
2021年10月29日 #
sql数据处理
摘要：
安装pymysql 读取数据库数据进行pandas操作，并用seaborn和matplotlib进行画图 阅读全文
posted @ 2021-10-29 20:19 糟糟张 阅读(51) 评论(0) 推荐(0) 编辑
Pandas核心用法
摘要：
###Numpy和Pandas ####Numpy科学计算 Numpy 是一个专门用于矩阵化运算、科学计算的开源Python ####Pandas数据分析 pandas提供了使我们能够快速便捷地处理结构化数据的大量数据结构和函数 pandas兼具NumPy高性能的数组计算功能以及电子表格和关系型数据 阅读全文
posted @ 2021-10-29 00:22 糟糟张 阅读(123) 评论(0) 推荐(1) 编辑
2021年10月27日 #
Python语法3
摘要：
###模块 ####Python程序架构 Python源代码文件:*.py 一个py文件是一个模块(module) 多个模块可以组成一个包(package） ####第三方工具包： ####创建packet包 创建的每一个packet包中会自带一个_init_.py模块，而且这个模块在import这 阅读全文
posted @ 2021-10-27 15:26 糟糟张 阅读(38) 评论(0) 推荐(0) 编辑
2021年10月26日 #