jsqup

摘要： 1. 配置SSH无密登录 配置原理 配置SSH 2. 集群整体操作脚本(补充) #! /bin/bash for i in hadoop102 hadoop103 hadoop104 do echo $i ssh $i "source /etc/profile ; $*" done 阅读全文

摘要： 1. 购买服务器 2. 配置防火墙 3. ECS配置升级（补充的，暂时没有用到） 4. 阿里云服务器连接 5. 配置主机名称映射 6. 创建普通用户atguigu并提升权限 7. 集群分发脚本xsync #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if 阅读全文

摘要： 技术栈 SparkStreaming:核心处理流程 Maxwell:实时采集，全量同步 Kafka:数据存储，中间处理数据，数据传输 Redis:加快数据的查询响应 ElasticSearch:数据存储和查询计算 Kibana:可视化展示 SpringBoot:发布数据接口 Git:托管 项目内容 阅读全文

摘要： 背包问题 01背包：每个物品：选、不选 完全背包：每个物品：选0，选1个，选2个，....选无穷多个 多重背包问题(每个物品：选0....选si个) 多重背包问题Ⅰ(朴素版)： 点击查看代码 // 数据范围 // 0<N,V≤100 // 0<vi,wi,si≤100 #include<iostre 阅读全文

摘要： bfs: 需要的空间太大，(把每一层都存下来) 不好剪枝 dfs: 线性空间(只存路径) 阅读全文

摘要： 贪心证明两个数相等 阅读全文

摘要： 导入依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>2.4.6</version> </dependency> <d 阅读全文

摘要： 以后可以从这里开始复习spark 阅读全文

摘要： 原理 代码 package operator import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import java.lang.Math.random object SparkPI e 阅读全文

摘要： 1.sample算子 sample随机抽样算子，根据传进去的小数按比例进行有放回或者无放回的抽样，虽然参数中有比例，但是不保证按比例进行抽样 2.控制算子checkpoint 阅读全文