刘姥爷观园子

摘要： 一般情况下，我们启动spark集群都是start-all.sh或者是先启动master(start-master.sh),然后在启动slave节点(start-slaves.sh)，其实翻看start-all.sh文件里面的代码，可以发现它里面其实调用的执行的也是start-master.sh和st 阅读全文

摘要： spark在项目中已经用了一段时间了，趁现在空闲，下个源码编译在IDEA里面阅读下，特此记录过程。 前提已经安装maven和git 1、上官网下载源码的包； 2、然后解压到一个文件夹 3、编译，编译的具体的信息可以看官网的介绍http://spark.apache.org/docs/latest/b 阅读全文

摘要： 关于这次总结还是要从一个bug说起。。。。。。。 场景描述：项目的基本处理流程为：从文件系统读取每隔一分钟上传的日志并由Spark Streaming进行计算消费，最后将结果写入InfluxDB中，然后在监控系统中进行展示，监控。这里的spark版本为2.2.1。 Bug：程序开发完成之后，每个ba 阅读全文

摘要： 问题描述： 项目中一位同事提交了一部分代码，代码分为一个抽象类，里面含有sparkcontent，sparkSession对象；然后又三个子类实例化上述抽象类，这三个子类处理三个任务，最后在同一个Main类，里面调用这个子类的处理任务的方法，进行计算；在本地（local）运行，一切正常，部署到测试服 阅读全文

摘要： 本文主要讲述sparkR链接Mysql的过程和坑。 SparkR的开发可以用RStudio工具进行开发，连接spark可以通过RStudio界面中的Connections进行配置连接;具体方法这里不做介绍。 下面为spark程序的部分代码： 在集群和sparkR shell里会有一个不知道是不是bu 阅读全文

摘要： 概述 最近学到EasyUI的Datagrid数据网格，然后就做了一个小例子，中间层利用Struts2来完成，DAO层用的是Hibernate。 数据库 数据库涉及到stuednt（name,noid,password,hobby,tno）表和teacher（tno，tname）表；实体的映射和实体之 阅读全文

摘要： 概述 这个实例主要是前台数据到后台数据的传递和后台数据到前台数据的传递，完成数据的新增，以及对新增数据的展示。下面是详细的过程： Hibernate（数据库部分） 这里只是数据库的连接和数据库实体与物理表的映射。 1 <?xml version="1.0" encoding="UTF-8"?> 2 阅读全文