ExplorerMan

摘要： 1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。 对于RDD来说，每 阅读全文

摘要： 一、Python环境准备 远程服务器上Python版本要与本地想匹配，这里本地使用Anaconda来进行安装，远程服务器之间安装。 wget --no-check-certificate https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgz 阅读全文

摘要： 由于目前很多spark程序资料都是用scala语言写的，但是现在需要用python来实现，于是在网上找了scala写的例子改为python实现 1、集群测试实例 代码如下：from pyspark.sql import SparkSession if __name__ == "__main__": 阅读全文

摘要： 环境说明：Ubuntu linux64位操作系统 python@ubuntu:~$ uname -a Linux ubuntu 4.4.0-31-generic #50-Ubuntu SMPWed Jul 13 00:07:12 UTC 2016 x86_64 x86_64 x86_64 GNU/L 阅读全文

摘要： 在确认文件存在的情况下，出现这个问题的原因是：在集群中运行的pyspark。例如使用命令bin/pyspark --master yarn启动pyspark 解决方式1：让每个Worker节点的相应位置都有要读取的数据文件。 解决方式2：直接将数据文件上传到hdfs，达到数据共享。 阅读全文

摘要： 一，安装所需的外部程序 1,用apt-get安装ImageMagick root@ku:/data/liuhongdi/digv23# apt-get install imagemagick 2,查看安装是否成功: root@ku:/data/liuhongdi/digv23# convert -- 阅读全文

摘要： 一，安装用到的库 1,go-qrcode库的地址 https://github.com/skip2/go-qrcode 2，安装go-qrcode库 liuhongdi@ku:~$ go get -u github.com/skip2/go-qrcode/... 3,resize库的地址（在二维码中 阅读全文

摘要： 一，安装库 1,库的地址 https://github.com/mojocn/base64Captcha 2,安装: liuhongdi@ku:~$ go get -u github.com/mojocn/base64Captcha 说明：刘宏缔的go森林是一个专注golang的博客， 地址：htt 阅读全文

摘要： 一，安装go-redis 1,从命令行执行: liuhongdi@ku:~$ go get -u github.com/go-redis/redis/v8 说明：安装命令及版本等信息可以从github站直接得到 说明：刘宏缔的go森林是一个专注golang的博客， 地址：https://blog.c 阅读全文

摘要： 一，演示项目的相关信息 1,地址： https://github.com/liuhongdi/digv16 2，功能：以下订单为例，演示了在gorm中启用事务 3, 项目结构：如图: 说明：刘宏缔的go森林是一个专注golang的博客， 地址：https://blog.csdn.net/weixin 阅读全文