yy

摘要： 之前也介绍过使用yarn api来submit spark任务，通过提交接口返回applicationId的用法，具体参考《Spark2.3（四十）：如何使用java通过yarn api调度spark app，并根据appId监控任务，关闭任务，获取任务日志》; 但是我更喜欢使用该篇文章中介绍的使用 阅读全文

摘要： 为什么要使用广播(broadcast)变量？ Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。进一步解释： 如果executor端用到了Driver的变量，如果不使用广播变量在Executor有多少task就有多少Dr 阅读全文

摘要： 本次此时是在SPARK2,3 structured streaming下测试，不过这种方案，在spark2.2 structured streaming下应该也可行（请自行测试）。以下是我测试结果： 成功测试结果： 准备工作：创建maven项目，并在pom.xml导入一下依赖配置： 第一步：Load 阅读全文

摘要： Mybatis中表与表之间的关系分为一下4类： 1）一对一 2）一对多 3）多对一 4）多对多 创建数据Demo表 数据库表： 用户表user：记录了购买商品的用户信息。 订单表orders：记录了用户所创建的订单（购买商品的订单）。 订单明细表orderdetail：记录了订单的详细信息即购买商品 阅读全文

摘要： 详细错误信息如下： 错误原因： 每一个Spark任务都会占用一个SparkUI端口，默认为4040，如果被占用则依次递增端口重试。但是有个默认重试次数，为16次。16次重试都失败后，会放弃该任务的运行。 解决方法 初始化SparkConf时，添加conf.set(“spark.port.maxRet 阅读全文

摘要： 1.1 下载、上传、解压redis4.0.11 下载地址：http://download.redis.io/releases/redis-4.0.11.tar.gz下载后上传到服务器上，并解压：备注：这里是上传压缩包到/opt/redis目录下。 1.2 安装gcc 1）如果执行gcc –versi 阅读全文

摘要： 服务器环境： centos7 x64 需要安装mysql5.7+ 一、卸载CentOS7系统自带mariadb 二、检查mysql是否存在 三、查看用户和组是否存在 1）检查mysql组合用户是否存在 # 查询全部用户（只是做记录，没必要执行） 2）若不存在，则创建mysql组和用户 四、下载mys 阅读全文

摘要： 使用定义任务： 第一步：启用定时任务第二步：配置定时器资源等第三步：定义定时任务并指定触发规则 1)启动类启用定时任务 在springboot入口类上添加注解@EnableScheduling即可。 2）配置定时任务资源等： 设置定时任务线程池大小：通过SchedulingConfigurer接口配 阅读全文

摘要： 技术、原理讲解： 《分布式任务调度平台XXL-JOB--源码解析一:项目介绍》 《分布式任务调度平台XXL-JOB--源码解析二:基于docker搭建admin调度中心和executor执行器运行部署环境》 《分布式任务调度平台XXL-JOB--源码解析三:xxl-job-admin调度中心源码解析 阅读全文

摘要： 因需要将一张白色背景图片处理为透明色，因此上网上搜了搜处理方案，可以通过ps,和美图秀秀，但是我电脑上并没有这两个软件，下载安装太耗时。从网上搜了搜发现原来可以使用java代码进行处理，代码如下： 代码来自：http://www.cnblogs.com/TheoryDance/p/7094376.h 阅读全文

摘要： 更新于2019.2.23 Cesium的强大不用多说，所以有很多政府、组织基于cesium做了一些应用，其中不乏有很多优秀的示例，我们大都可以从中获得对自己的项目有益的东西。另：有的网站需要FQ。 官网上3DTiles的一个示例 网址：https://cesiumjs.org/NewYork/ind 阅读全文

摘要： 准备工作 1）创建测试表jobitem 备注：这里mysql版本是5.72）使用mybatis-generator-plugin生成实体类： Jobitem.java package com.boco.jobmonitor.model; import java.util.Date; import j 阅读全文

摘要： 导入maven依赖： 测试用例： 注意： 在@SpringBootTest(classes = { App.class, JobitemServiceImpl.class }中可选包含JobitemServiceImpl（一定不能忘记注册@Service到该类，否则会抛出异常，说一些依赖未能加载）。 阅读全文

摘要： Mybatis Generator是供开发者在mybatis开发时，快速构建mapper xml，mapper类，model类的一个插件工具。它相对来说对开发者是有很大的帮助的，但是它也有不足之处，比如生成的xml配置文件不是完全可以拿来使用的，有很多时候需要开发者自行修改后才可以使用。因为它还是值 阅读全文

摘要： 读取application.yml下配置参数信息 在application.yml文件内容 创建FooProperties.java文件,并使用@ConfigurationProperties注解 调用 测试 访问：http://localhost:8080/myProperties 参考《http 阅读全文

摘要： 问题描述： SpringBoot项目之前是一个项目*-web，运行没问题，后来将项目拆分为多个项目，就出现启动失败问题. SpringBoot项目结构： 项目被分为多块：*-mapper(mybatis)/*-model/*-web，项目将-mapper分开一个模块后，从SpringBoot入口函数 阅读全文

摘要： 错误信息 原因分析 其实这个在官方文档中有介绍。地址如下：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_kafka.html#running_jobs 方案一：错误信息中可以看出kafka的版本：Kafka ve 阅读全文

摘要： 背景： 调研过OOZIE和AZKABA,这种都是只是使用spark-submit.sh来提交任务，任务提交上去之后获取不到ApplicationId，更无法跟踪spark application的任务状态，无法kill application，更无法获取application的日志信息。因此，为了实 阅读全文

摘要： 业务需求 实现一个根据spark任务的appName来监控任务是否存在，及任务是否卡死的监控。 1）给定一个appName，根据appName从yarn application -list中验证任务是否存在，不存在则调用spark-submit.sh脚本来启动任务； 2）如果任务存在yarn app 阅读全文

摘要： 第一步：选取设计下选用“简单” 第二步：设置颜色为“铅笔” 第三步：设置效果为“辐射” 第四步：效果 阅读全文