joranger

摘要： 3.1 rdd队列3.1.1 用法及说明 测试方式：1、使用ssc.queuestream(queueofrdds)来创建dstream。2、将每一个推送到这个队列中的rdd，都会作为dstream的一个批次处理。 3.1.2 案例实操 需求：循环创建几个rdd，将rdd放入队列。通过sparkst 阅读全文

摘要： Spark StreamingSpark Streaming 是一个基于 Spark Core 之上的实时计算框架，可以从很多数据源消费数据并对数据进行实时的处理，具有高吞吐量和容错能力强等特点。 Spark Streaming 的特点： 易用：可以像编写离线批处理一样去编写流式程序，支持 java 阅读全文

摘要： 创建 DataFrame/DataSet 方式一：读取本地文件 ① 在本地创建一个文件，有 id、name、age 三列，用空格分隔，然后上传到 hdfs 上。 vim /root/person.txt内容如下： 1 zhangsan 202 lisi 293 wangwu 254 zhaoliu 阅读全文

摘要： 1.1 Spark 为何物Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。 Hadoop 之父 Doug Cutting 指出：Use of MapReduce engine for Big Data projects will decline, replaced by 阅读全文

摘要： 微信小程序语法与Vue类似： 1，文本渲染{{ msg}}可以执行简单的js表达式{{2+3}}{{msg.length}}2，条件渲染wx:if=""wx:elif=""wx:else3，列表渲染wx:for="{{list}}"wx:key="index" {{item}} {{index}}4 阅读全文

摘要： 本来想随便弄一个小程序练手，结果还挺麻烦，还得备案，以下是备案的过程： 一，备案前需准备资料（一）备案入口备案系统将于9月1日正式上线，届时可参考指引进行备案。 1、未上架小程序 开发者可在小程序首页点击【去备案】即可进入备案流程 2、已上架小程序 小程序管理后台顶部会提示“小程序需补充备案信息”的 阅读全文

摘要： 一，注册微信小程序如果你还没有微信公众平台的账号，请先进入微信公众平台首页，点击 “立即注册” 按钮进行注册。注册的账号类型可以是订阅号、服务号、小程序以及企业微信，我们选择 “小程序” 即可。 接着填写账号信息，需要注意的是，填写的邮箱必须是未被微信公众平台注册、未被个人微信号绑定的邮箱，而且每个 阅读全文

摘要： 该项目完成了一点，对以后的展望： 1. **数据收集与标注**： - 收集大量不同情况下的井盖图片和视频数据，包括完好、破损、缺失等情况。 - 对这些数据进行标注，明确每张图片或视频对应的井盖状态，以便训练模型。 2. **选择合适的技术和算法**： - 可以使用计算机视觉技术，如卷积神经网络（CN 阅读全文

摘要： 处理数据集通常是训练目标检测模型的第一步。数据集的处理涉及到准备数据、标注目标、数据增强等过程。下面是处理数据集的一般步骤： 1. **数据采集**： - 收集与任务相关的图像和视频数据。这些数据可能来自于开放数据集、自己收集的数据或者购买的数据。 2. **数据标注**： - 对于目标检测任务，需 阅读全文

摘要： YOLOv5 是一种目标检测算法，它是由 Alexey Bochkovskiy 开发的 YOLO（You Only Look Once）系列算法的最新版本之一。YOLOv5 采用了单一网络结构，通过单次前向传播即可同时预测多个目标的位置和类别。YOLOv5 在处理视频帧时的基本原理： 视频帧输入： 阅读全文