ExplorerMan

摘要： 一，演示项目的相关信息 1,项目地址: https://github.com/liuhongdi/digv03 2,功能说明：使用校验器(validator)实现对参数的校验 3,项目结构：如图: 说明：刘宏缔的go森林是一个专注golang的博客， 地址：https://blog.csdn.net 阅读全文

摘要： 一，演示项目的相关信息: 1,项目地址: https://github.com/liuhongdi/digv02 2,功能：演示gin返回restful格式的数据， 包括异常时的404/500等情况 3,项目结构：如图: 二，sql代码说明 CREATE TABLE `article` ( `art 阅读全文

摘要： 一，热榜的例子： 以抽屉新热榜为例，只存储资讯的链接和提示， 用户点击时会跳转到外部的网站阅读 我们在这里只实现了显示单条内容和多条内容的功能， 主要是把它做为后续功能集成演示的一个基础 后续的集成包括: 统一报错信息 统一rest输出 validator 日志功能 安全 接口文档 统一读取配置文件 阅读全文

摘要： 一，安装zap和go-file-rotatelogs两个库: 1,安装zap: liuhongdi@ku:/data/liuhongdi/zaplog$ go get -u go.uber.org/zap 2,安装go-file-rotatelogs liuhongdi@ku:/data/liuho 阅读全文

摘要： 一，安装需要用到的库 1,go-redis的地址: https://github.com/go-redis/redis 2,安装go-redis liuhongdi@ku:~$ go get -u github.com/go-redis/redis/v8 3,redsync的地址 https://g 阅读全文

摘要： 在Spark中采用本地模式启动pyspark的命令主要包含以下参数：–master：这个参数表示当前的pyspark要连接到哪个master，如果是local[*]，就是使用本地模式启动pyspark，其中，中括号内的星号表示需要使用几个CPU核心(core)；–jars： 这个参数用于把相关的JA 阅读全文

摘要： RDD叫做弹性分布式数据集 RDD概述 1.什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允 阅读全文

摘要： 用IDEA编写spark程序，每次运行都要先打成jar包，然后再提交到集群上运行，这样很麻烦，不方便调试。我们可以直接在Idea中调试spark程序。 例如下面的WordCount程序： package cn.edu360.spark import org.apache.spark.rdd.RDD 阅读全文

摘要： 创建项目详细过程请参考博客：在IDEA中用Scala编写WordCount程序并且上传到集群中运行https://blog.csdn.net/weixin_43866709/article/details/88599701 下面是代码： package cn.edu360.spark; import 阅读全文

摘要： spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。 启动spark shell: /usr/local/spark-2.1.0-bin-hadoop2.6/bin/spark-shell --master spa 阅读全文