摘要： ###前言 笔者在armv8架构设备上运行ubuntu20.04系统，安装dart-sdk部署相关服务。 网上基本都是照搬的官方文档的说法，经测试不是很好用，寻找版本号有些麻烦，特在此把我离线部署的方法整理一下。 ###方法一览 打开如下链接 离线安装包channel 可见目录，主要分稳定版和测试版 阅读全文

摘要： 支持Debian、CentOS、Ubuntu、Armbian等绝大多数发行版Linux系统下安装及使用本脚本！ ###使用步骤： ####登陆SSH 使用SSH连接工具来登陆SSH，推荐putty（体积最小），JuiceSSH（支持安卓手机），或其他工具，SSH工具请自行下载。 建议使用root用户 阅读全文

摘要： ##前言 进入Linux操作系统，打开命令行，执行如下命令： sudo fdisk -u -l 可以查看所有磁盘上的所有分区的尺寸和布局情况。 -u，让start和end中数字的单位是512字节，也就是一个sector扇区的大小。 假设我有一个/dev/sda磁盘，有100GB大小。我安装了一个Ub 阅读全文

摘要： Docker实用篇0.学习目标1.初识Docker1.1.什么是Docker微服务虽然具备各种各样的优势，但服务的拆分通用给部署带来了很大的麻烦。分布式系统中，依赖的组件非常多，不同组件之间部署时往往会产生一些冲突。在数百上千台服务中重复部署，环境不一定一致，会遇到各种问题1.1.1.应用部署的环境 阅读全文

摘要： 用以解决由于公网IP改变，导致Openwrt拨号无法上网的问题。以下仅供参考 首先，确认WAN口名称为"WAN" 1.可能会用到的命令 重启设备 /sbin/reboot 重启WiFi /sbin/wifi down && /sbin/wifi/up 重启所有网络 /etc/init.d/netwo 阅读全文

摘要： 备忘 ####导入依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>compile</scope> </dependency> ####使用例 阅读全文

摘要： RDD(3) RDD行动算子 所谓行动算子，就是触发Job执行的方法 reduce 函数签名 def reduce(f: (T, T) => T): T 函数说明 聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据 e.g. code: def main(args: Array[String 阅读全文

摘要： RDD转换算子案例实操 ###数据准备 agent.log：时间戳，省份，城市，用户，广告【中间字段使用空格分隔】 数据集，提取码：Unsk 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12 1516609 阅读全文

摘要： ###@Spark分区器(Partitioner) ####HashPartitioner（默认的分区器） HashPartitioner分区原理是对于给定的key，计算其hashCode，并除以分区的个数取余，如果余数小于0，则余数+分区的个数，最后返回的值就是这个key所属的分区ID，当key为 阅读全文

摘要： #RDD(2) ##RDD转换算子 RDD根据数据处理方式的不同将算子整体上分为Value类型、双Value类型、Key-Value类型 ###value类型 ####map 函数签名 def map[U:ClassTag](f:T=>U):RDD[U] 函数说明 将处理的数据逐条进行映射转换，这里 阅读全文

摘要： Spark计算框架为适应高并发和高吞吐的数据处理需求，封装了三大数据结构，以处理不同应用： 1）RDD:弹性分布式数据集 2）累加器：分布式共享只写变量 3）广播变量：分布式共享只读变量 ##RDD(1) ###什么是RDD RDD(Resilient Distributed Dataset)弹性分 阅读全文

摘要： 笔者使用的开发环境是IntelliJ IDEA Community Edition 2021.3.3 scala版本是2.11.8，与Spark2.0严格对应。 在maven环境中导入scala框架 导入Scala框架 导入成功后在main/java 路径中可以创建新的scala类 至此，scala 阅读全文

摘要： 任务三：柱状图呈现城市出租率 出租率是反映住宿场所经营状况的一项重要指标，它是已出租的客房数与住宿场所可以提供租用的房间总数的百分比。住宿场所出租率的情况可以在一定程度上反应出该住宿场所的整体运营的情况，为了更好的分析指定住宿场所的入住情况，请根据相关表中数据完成出租率分析，通过指定图例进行呈现。 阅读全文

摘要： 任务二：多个饼图呈现各省份不同等级住宿场所占比 企业消费平台为了更好地发展企业业务，向企业客户推荐符合其定位的协议住宿场所，需要分析上题中Top5省份的“三星级/舒适”、“四星级/高档”和“五星级/豪华”住宿场所以及“其它类别”住宿场所（除上述三类外，其余类型住宿场所均归为“其它类别”）的占比情况。 阅读全文

摘要： 去年写的小玩意，启动watchdog监控自动搬运csv文件的话需要多开进程 源码地址 https://github.com/Unknownshangke/HourlyWeatherVistual/ 如果数据源是weather.com里面的每小时天气，爬虫格式应该是一样的，应该只需要更改一下要进行爬取 阅读全文

摘要： MySQL数据库中的相关数据集包含了城市、省份、评分、评论数等多项基础信息字段。请使用Flask框架，结合Echarts完成下列题目。数据库账号：root 密码：123456 库名：hotel 自行创建代码工程路径为：C:\s_hotel 任务一：条形图呈现住宿场所订单量住宿场所订单量是反映住宿场所 阅读全文