摘要：
反爬虫项目开发 项目介绍 项目背景 为什么要有反爬虫项目 爬虫程序大量占用我们的系统资源,比如带宽/计算能力等 爬虫程序进行预订/抢票影响我们的正常业务. 导入反爬WEB工程 创建一个maven工程 创建一个module 将反扒参考资料\项目代码\WebProject中的代码拷贝到新建的module 阅读全文
posted @ 2019-07-15 22:43
jeasonchen001
阅读(329)
评论(0)
推荐(0)
摘要：
反爬虫项目开发 项目介绍 项目背景 为什么要有反爬虫项目 爬虫程序大量占用我们的系统资源,比如带宽/计算能力等 爬虫程序进行预订/抢票影响我们的正常业务. 导入反爬WEB工程 1. 创建一个maven工程 2. 创建一个module 3. 将反扒参考资料\项目代码\WebProject中的代码拷贝到 阅读全文
posted @ 2019-07-15 22:41
jeasonchen001
阅读(116)
评论(0)
推荐(0)
摘要：
SparkStreaming 1.课程目标 掌握SparkStreaming原理和架构 掌握DStream常用的操作 掌握SparkStreaming整合flume 掌握SparkStreaming整合kafka 2.SparkStreaming概念 SparkStreaming是用来开发实时数据处 阅读全文
posted @ 2019-07-15 22:35
jeasonchen001
阅读(128)
评论(0)
推荐(0)
摘要：
SparkSQL 1.课程目标 掌握Spark SQL原理 熟悉SparkSQL编程模型DataFrame和DataSet以及SQL 熟练使用SparkSQL完成计算任务 2.SparkSQL概述 Spark SQL is Apache Spark's module for working with 阅读全文
posted @ 2019-07-15 22:34
jeasonchen001
阅读(122)
评论(0)
推荐(0)
摘要：
Spark day01 1.学习目标 了解spark相关背景以及其框架特点 掌握搭建spark集群（尤其是高可用集群搭建） （重点） 掌握spark应用程序开发以及运行 （重点） 掌握Spark框架中的角色 （重点） 2. Spark概述 官网：http://spark.apache.org/ Ap 阅读全文
posted @ 2019-07-15 22:33
jeasonchen001
阅读(157)
评论(0)
推荐(0)
摘要：
Spark计算模型RDD 1.课程目标 掌握RDD的原理 熟练使用RDD的算子完成计算任务 掌握RDD的宽窄依赖 掌握RDD的缓存机制 掌握划分stage 掌握spark的任务调度流程 2.RDD概述 A Resilient Distributed Dataset (RDD):弹性分布式数据集合。并 阅读全文
posted @ 2019-07-15 22:33
jeasonchen001
阅读(176)
评论(0)
推荐(0)
摘要：
Scala高级特性 1.课程目标 深入理解高阶函数 闭包函数 柯里化函数 深入理解隐式方法 隐式变量以及隐式参数 综合案例 模拟Spark任务调度 2.高阶函数 闭包函数 柯里化函数 2.1 高阶函数 概念：如果一个方法的参数列表包含有函数对象，那么这个方法就称之为高阶函数或者高阶方法 定义格式： 阅读全文
posted @ 2019-07-15 22:32
jeasonchen001
阅读(102)
评论(0)
推荐(0)
摘要：
Scala面向对象编程 1.课程目标 掌握Scala中面向对象编程 掌握Scala模式匹配 掌握Scala泛型高级内容 熟悉Scala中多线程编程模型 2.Scala 类 格式： class 名称{ //成员变量 //成员方法 } 使用类： 创建对象： val/var 对象名称=new 类名() / 阅读全文
posted @ 2019-07-15 22:31
jeasonchen001
阅读(93)
评论(0)
推荐(0)
摘要：
Scala 编程 Scala基础 1.课程目标 安装Scala编译和运行环境 熟悉Scala基本语法以及函数式编程 熟练掌握Scala数据结构使用以及集合方法操作 2.scala简介以及安装 scala概念：面向对象和面向函数的多范式编程语言，scala也是基于jvm的编程语言，并且scala可以和 阅读全文
posted @ 2019-07-15 22:30
jeasonchen001
阅读(117)
评论(0)
推荐(0)
浙公网安备 33010602011771号