ExplorerMan

摘要： spark中自带了很多例子，他们存放在examples/jars目录下，今天我们就提交一个蒙特.卡罗拉算法求PI的例子：向spark集群提交程序的命令是spark-submit，后面我们要制定参数 /usr/local/spark-2.1.0-bin-hadoop2.6/bin/spark-subm 阅读全文

摘要： 今天安装了一个高可用的spark集群，但是启动之后，每个节点上用jps命令都可以查看到有Master和Worker进程，但是登录UI界面却没有Worker信息，查看Worker节点上的日志文件，发现竟然出错了，错误如下：错误显示Worker无法连接到Master节点。 找了好长时间，终于发现了问题， 阅读全文

摘要： 前面我已经安装了spark集群，集群的规划是一个Master，三个Worker，L1上安装Master，L3,L4,L5上安装Worker，安装过程与细节请看我得另外一篇博客：https://blog.csdn.net/weixin_43866709/article/details/88388000 阅读全文

摘要： 1.下载zookeeper安装包 下载地址：https://www.apache.org/dist/zookeeper/ 2.上传到虚拟机中，解压。 3.修改配置文件（先在一个节点上配置） 3.1进入到conf目录，将zoo_sample.cfg修改为zoo.cfg mv zoo_sample.cf 阅读全文

摘要： 1.准备环境 安装centos7，在此我准备了五个虚拟机，分别命名为L1，L2,L3,L4,L5.计划在L1上面运行Master节点，在L3,L4,L5上面运行Worker节点。网络配置以及ssh免密登陆配置不再详细讲解，请参考我的另外一篇博客：虚拟机网络配置以及准备工作：https://blog. 阅读全文

摘要： 目录 MySQL的存储结构 表存储结构 B+树索引结构 B+树页节点结构 B+树的检索过程 为什么要用B+树索引 二叉树 多叉树 B树 B+树 搞懂这个问题之前，我们首先来看一下MySQL表的存储结构，再分别对比二叉树、多叉树、B树和B+树的区别就都懂了。 MySQL的存储结构 表存储结构 单位：表 阅读全文

摘要： 版本要求>3.2 db.tablename.aggregate( [ { $indexStats: { } } ] ) 官网地址：https://docs.mongodb.com/manual/reference/operator/aggregation/indexStats/ 阅读全文

摘要： 背景 在 web 场景下，经常会碰到下载文件的需求，通常小文件我们会采用 Flask send_file 或者 send_from_directory的方式，下载，但是当下载的文件是一个大压缩文件（>1GiB）时，这种方式就显得不友好了，我们需要采用流式下载的方式返回给客户端。 流式下载 简单实现： 阅读全文

摘要： 在Rancher上疏散该节点 删除节点 登录该节点宿主机，删除rancher相关容器 docker rm -f -v $(docker ps -aq) 删除该节点的所有volume docker volume rm $(docker volume ls) 最后删除/var/lib/rancher文件 阅读全文

摘要： go中的深度拷贝方式 1.使用json的序列化和反序列化 通过将原来的结构序列化成byte数组，然后将byte数组反序列化到 目标结构的方式来进行深度拷贝。相关代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 2 阅读全文