2021年1月22日

Spark读取本地文件时报错:java.io.FileNotFountException:file doesn't exist

摘要: 在确认文件存在的情况下,出现这个问题的原因是:在集群中运行的pyspark。例如使用命令bin/pyspark --master yarn启动pyspark 解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。 解决方式2:直接将数据文件上传到hdfs,达到数据共享。 阅读全文

posted @ 2021-01-22 18:14 ExplorerMan 阅读(662) 评论(0) 推荐(0)

go语言web开发系列之二十四:用imagemagick为上传图片生成缩略图

摘要: 一,安装所需的外部程序 1,用apt-get安装ImageMagick root@ku:/data/liuhongdi/digv23# apt-get install imagemagick 2,查看安装是否成功: root@ku:/data/liuhongdi/digv23# convert -- 阅读全文

posted @ 2021-01-22 16:14 ExplorerMan 阅读(418) 评论(0) 推荐(0)

go语言web开发系列之二十一:用go-qrcode库生成二维码

摘要: 一,安装用到的库 1,go-qrcode库的地址 https://github.com/skip2/go-qrcode 2,安装go-qrcode库 liuhongdi@ku:~$ go get -u github.com/skip2/go-qrcode/... 3,resize库的地址(在二维码中 阅读全文

posted @ 2021-01-22 11:22 ExplorerMan 阅读(978) 评论(0) 推荐(0)

go语言web开发系列之十八:gin框架用base64Captcha生成图形验证码

摘要: 一,安装库 1,库的地址 https://github.com/mojocn/base64Captcha 2,安装: liuhongdi@ku:~$ go get -u github.com/mojocn/base64Captcha 说明:刘宏缔的go森林是一个专注golang的博客, 地址:htt 阅读全文

posted @ 2021-01-22 11:21 ExplorerMan 阅读(739) 评论(0) 推荐(0)

go语言web开发系列之十七:用go-redis+lua实现顺序自增的唯一id发号器

摘要: 一,安装go-redis 1,从命令行执行: liuhongdi@ku:~$ go get -u github.com/go-redis/redis/v8 说明:安装命令及版本等信息可以从github站直接得到 说明:刘宏缔的go森林是一个专注golang的博客, 地址:https://blog.c 阅读全文

posted @ 2021-01-22 11:20 ExplorerMan 阅读(551) 评论(0) 推荐(0)

go语言web开发系列之十六:gin框架中通过gorm使用事务

摘要: 一,演示项目的相关信息 1,地址: https://github.com/liuhongdi/digv16 2,功能:以下订单为例,演示了在gorm中启用事务 3, 项目结构:如图: 说明:刘宏缔的go森林是一个专注golang的博客, 地址:https://blog.csdn.net/weixin 阅读全文

posted @ 2021-01-22 11:19 ExplorerMan 阅读(1018) 评论(0) 推荐(0)

go语言web开发系列之十四:用gin框架实现基于ip地址的限流

摘要: 一,安装用到的库 1,从命令行安装 x/time/rate库 iuhongdi@ku:~$ go get -u golang.org/x/time/rate 说明:刘宏缔的go森林是一个专注golang的博客, 地址:https://blog.csdn.net/weixin_43881017 说明: 阅读全文

posted @ 2021-01-22 11:18 ExplorerMan 阅读(649) 评论(0) 推荐(0)

go语言web开发系列之十三:gin框架实现图片文件上传

摘要: 一,演示项目的信息 1,项目地址: https://github.com/liuhongdi/digv13 2,功能说明: 演示了通过gin框架上传图片文件,包括单张上传和多张上传 3, 项目结构:如图: 说明:刘宏缔的go森林是一个专注golang的博客, 地址:https://blog.csdn 阅读全文

posted @ 2021-01-22 11:17 ExplorerMan 阅读(697) 评论(0) 推荐(0)

go语言web开发系列之十一:gin框架通过casbin实现rbac权限设计(csv存储)

摘要: 一,安装casbin 1,casbin项目代码的地址 https://github.com/casbin/casbin 2,为go安装casbin liuhongdi@ku:~$ go get -u github.com/casbin/casbin/v2 说明:刘宏缔的go森林是一个专注golang 阅读全文

posted @ 2021-01-22 11:16 ExplorerMan 阅读(1260) 评论(0) 推荐(0)

go语言web开发系列之九:gin框架中用bigcache做进程内缓存

摘要: 一,安装用到的库 1,安装go-redis liuhongdi@ku:~$ go get -u github.com/go-redis/redis 2,安装bigcache liuhongdi@ku:~$ go get -u github.com/allegro/bigcache 说明:刘宏缔的go 阅读全文

posted @ 2021-01-22 11:15 ExplorerMan 阅读(855) 评论(0) 推荐(0)

go语言web开发系列之六:gin使用zap记录http服务的访问日志(access log)并按日期分割

摘要: 一,安装用到的库: 1,安装zap日志库: liuhongdi@ku:/data/liuhongdi/zaplog$ go get -u go.uber.org/zap 2,安装go-file-rotatelogs库 liuhongdi@ku:/data/liuhongdi/zaplog2$ go 阅读全文

posted @ 2021-01-22 11:08 ExplorerMan 阅读(815) 评论(0) 推荐(0)

go语言web开发系列之四:gin框架用viper读取配置文件数据

摘要: 一,安装viper 1,viper的代码地址: https://github.com/spf13/viper 查看viper版本: https://github.com/spf13/viper/releases 2,安装: root@ku:~# go get -u github.com/spf13/ 阅读全文

posted @ 2021-01-22 11:06 ExplorerMan 阅读(728) 评论(0) 推荐(0)

go语言web开发系列之三:gin用go-playground/validator做参数的校验

摘要: 一,演示项目的相关信息 1,项目地址: https://github.com/liuhongdi/digv03 2,功能说明:使用校验器(validator)实现对参数的校验 3,项目结构:如图: 说明:刘宏缔的go森林是一个专注golang的博客, 地址:https://blog.csdn.net 阅读全文

posted @ 2021-01-22 11:05 ExplorerMan 阅读(650) 评论(0) 推荐(0)

go语言web开发系列之二:gin框架接口站统一返回restful格式的数据

摘要: 一,演示项目的相关信息: 1,项目地址: https://github.com/liuhongdi/digv02 2,功能:演示gin返回restful格式的数据, 包括异常时的404/500等情况 3,项目结构:如图: 二,sql代码说明 CREATE TABLE `article` ( `art 阅读全文

posted @ 2021-01-22 11:02 ExplorerMan 阅读(904) 评论(0) 推荐(0)

go语言web开发系列之一:gin+gorm开发一个简单的热榜接口站

摘要: 一,热榜的例子: 以抽屉新热榜为例,只存储资讯的链接和提示, 用户点击时会跳转到外部的网站阅读 我们在这里只实现了显示单条内容和多条内容的功能, 主要是把它做为后续功能集成演示的一个基础 后续的集成包括: 统一报错信息 统一rest输出 validator 日志功能 安全 接口文档 统一读取配置文件 阅读全文

posted @ 2021-01-22 11:00 ExplorerMan 阅读(387) 评论(0) 推荐(0)

go:用zap和go-file-rotatelogs实现日志的记录和日志按时间分割

摘要: 一,安装zap和go-file-rotatelogs两个库: 1,安装zap: liuhongdi@ku:/data/liuhongdi/zaplog$ go get -u go.uber.org/zap 2,安装go-file-rotatelogs liuhongdi@ku:/data/liuho 阅读全文

posted @ 2021-01-22 10:58 ExplorerMan 阅读(811) 评论(0) 推荐(0)

gin框架用go-redis+redsync实现分布式锁

摘要: 一,安装需要用到的库 1,go-redis的地址: https://github.com/go-redis/redis 2,安装go-redis liuhongdi@ku:~$ go get -u github.com/go-redis/redis/v8 3,redsync的地址 https://g 阅读全文

posted @ 2021-01-22 10:53 ExplorerMan 阅读(1724) 评论(0) 推荐(0)

导航