Runner_Jack

摘要： 一、环境 64位centos 二、安装 （1）关闭防火墙 systemctl stop firewalld systemctl disable firewalld （2）安装etcd与kubernetes（会自动安装docker） yum install -y etcd kubernetes （3） 阅读全文

摘要： 1.pom <dependency> <groupId>com.dyuproject.protostuff</groupId> <artifactId>protostuff-core</artifactId> <version>1.0.8</version></dependency> <depend 阅读全文

摘要： <repositories> <repository> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> </repository>< 阅读全文

摘要： 1.引用 <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</artifactId></dependency>2.代码 package cn.piesat.task.util;import com.rabbitm 阅读全文

摘要： 一.背景介绍 项目上进行算法调度的需求，打算采用kafka作为消息中间件，通过将多个算法消费者加入到同一个group中并行的处理算法请求，从而达到高效处理的目的。但是算法处理的时间较长，多则几十分钟，短的几分钟。测试的结果是算法时间过长的消费者会引发kafka的rebalance，消费者无法再消费到 阅读全文

摘要： 1.背景介绍：平台使用的华为FI C203的版本，通过SparkStreaming消费kafka数据后，进行算法处理入库。其中在算法部分耗时为4秒，每个批的数据量在30MB左右。执行算法部分的算子分区数据从50调大至150，发现算法部分时间开销仍然在4秒左右，并未提高。 2.调优手段： spark. 阅读全文

摘要： 以下是Dockerfile文件 FROM centos:7ENV LANG=zh_CN.UTF-8 \ LANGUAGE=zh_CN:zh \ LC_ALL=zh_CN.UTF-8 RUN yum update -y && \ yum reinstall -y glibc-common && \ y 阅读全文

摘要： 别人写的帖子感觉很好，记录一下： https://blog.csdn.net/u013411339/article/details/90657429 阅读全文

摘要： 说起spring，我们知道其最核心的两个功能就是AOP（面向切面）和IOC（控制反转），这边文章来总结一下SpringBoot如何整合使用AOP。 一、示例应用场景：对所有的web请求做切面来记录日志。 1、pom中引入SpringBoot的web模块和使用AOP相关的依赖： 其中： cglib包是 阅读全文

摘要： Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息 日志配置：可以通过log4j.properties配置 Spark 阅读全文