摘要： 创建项目详细过程请参考博客：在IDEA中用Scala编写WordCount程序并且上传到集群中运行https://blog.csdn.net/weixin_43866709/article/details/88599701 下面是代码： package cn.edu360.spark; import 阅读全文

摘要： spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。 启动spark shell: /usr/local/spark-2.1.0-bin-hadoop2.6/bin/spark-shell --master spa 阅读全文

摘要： spark中自带了很多例子，他们存放在examples/jars目录下，今天我们就提交一个蒙特.卡罗拉算法求PI的例子：向spark集群提交程序的命令是spark-submit，后面我们要制定参数 /usr/local/spark-2.1.0-bin-hadoop2.6/bin/spark-subm 阅读全文

摘要： 今天安装了一个高可用的spark集群，但是启动之后，每个节点上用jps命令都可以查看到有Master和Worker进程，但是登录UI界面却没有Worker信息，查看Worker节点上的日志文件，发现竟然出错了，错误如下：错误显示Worker无法连接到Master节点。 找了好长时间，终于发现了问题， 阅读全文

摘要： 前面我已经安装了spark集群，集群的规划是一个Master，三个Worker，L1上安装Master，L3,L4,L5上安装Worker，安装过程与细节请看我得另外一篇博客：https://blog.csdn.net/weixin_43866709/article/details/88388000 阅读全文

摘要： 1.下载zookeeper安装包 下载地址：https://www.apache.org/dist/zookeeper/ 2.上传到虚拟机中，解压。 3.修改配置文件（先在一个节点上配置） 3.1进入到conf目录，将zoo_sample.cfg修改为zoo.cfg mv zoo_sample.cf 阅读全文

摘要： 1.准备环境 安装centos7，在此我准备了五个虚拟机，分别命名为L1，L2,L3,L4,L5.计划在L1上面运行Master节点，在L3,L4,L5上面运行Worker节点。网络配置以及ssh免密登陆配置不再详细讲解，请参考我的另外一篇博客：虚拟机网络配置以及准备工作：https://blog. 阅读全文

摘要： 目录 MySQL的存储结构 表存储结构 B+树索引结构 B+树页节点结构 B+树的检索过程 为什么要用B+树索引 二叉树 多叉树 B树 B+树 搞懂这个问题之前，我们首先来看一下MySQL表的存储结构，再分别对比二叉树、多叉树、B树和B+树的区别就都懂了。 MySQL的存储结构 表存储结构 单位：表 阅读全文

摘要： 版本要求>3.2 db.tablename.aggregate( [ { $indexStats: { } } ] ) 官网地址：https://docs.mongodb.com/manual/reference/operator/aggregation/indexStats/ 阅读全文

摘要： 背景 在 web 场景下，经常会碰到下载文件的需求，通常小文件我们会采用 Flask send_file 或者 send_from_directory的方式，下载，但是当下载的文件是一个大压缩文件（>1GiB）时，这种方式就显得不友好了，我们需要采用流式下载的方式返回给客户端。 流式下载 简单实现： 阅读全文