摘要：
js中免不了的要用的数组，一维的二维的三维的 但是当用到thymeleaf作为模版时候会有一些坑，导致数组不能用 这里只接触最外层异常，而出现异常的位置 thymeleaf会把[[]]中的内容作为内联取值块解析，而不是数组。可以在cols的后面换行 解决办法： 方法一：回车换行如下： 方法二：或者在 阅读全文
摘要：
一段业务代码改编，大概意思是搜索指定时间段内的信息，未详细说明业务内容，仅供参考几个参数的位置。 --带参存储过程 testdate,参数为v，内部定义参数icreate or replace procedure testdate(v in number) is i number; begin i: 阅读全文
摘要：
前言：Spark编程模型两个主要抽象，一个是弹性分布式数据集RDD，它是一种特殊集合，支持多种数据源，可支持并行计算，可缓存；另一个是两种共享变量，支持并行计算的广播变量和累加器。 1.RDD介绍 Spark大数据处理平台建立在RDD之上，RDD是Spark的核心概念，最主要的抽象之一。RDD和Sp 阅读全文
摘要：
[root@linux ~]# tar [-cxtzjvfpPN] 文件与目录 ....参数：-c ：建立一个压缩文件的参数指令(create 的意思)；-x ：解开一个压缩文件的参数指令！-t ：查看 tarfile 里面的文件！特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！ 阅读全文
摘要：
前言：要学习spark程序开发，建议先学习spark-shell交互式学习，加深对spark程序开发的理解。spark-shell提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用Pytho 阅读全文
摘要：
在Spark中有map和mapPartitions算子，处理数据上，有一些区别 主要区别： map是对rdd中的每一个元素进行操作； mapPartitions则是对rdd中的每个分区的迭代器进行操作 MapPartitions的优点： 如果是普通的map，比如一个partition中有1万条数据。 阅读全文
摘要：
1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-va 阅读全文
摘要：
Throwable类是Java语言中所有错误和异常的超类。只有作为此类（或其子类之一）的实例的对象才被Java虚拟机抛出，或者可以被Java throw语句抛出。类似地，只有这个类或其子类之一可以是catch子句中的参数类型。出于编译时检查异常的目的，Throwable和Throwable的任何子类 阅读全文
摘要：
在公司的内网中配置集群同步，可能是代理问题，ntpd和chrony都没有用，所以只好写shell脚本解决 前提条件集群中各台机器已经配置好了免密登录 一、免密登录配置 二、准同步脚本timer.sh，在master主机的时间上加了5秒钟，因为执行脚本有点延迟，将准同步的范围缩小 三、在master上 阅读全文
摘要：
自从2013年下半年开始，hadoop的版本开始了快速的更新换代，这和通信和互联网行业(ICT)的发展是密切相关的。随着移动网络的和宽带网络的覆盖以及数据传输速率的提升，线上的数据有了爆炸式的增长。这种趋势特别体现在大型的电商平台如淘宝、京东、亚马逊，海量数据的存储和处理问题成为了热门话题，在这种形 阅读全文