松伯 - 博客园

2015年11月22日

摘要： package HBaseTest;/** * Created by root on 11/11/22. */import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop... 阅读全文

posted @ 2015-11-22 22:30 松伯阅读(539) 评论(0) 推荐(0)

从上往下打印二叉树

摘要：从上往下打印出二叉树的每个节点，同层节点从左至右打印。使用两个队列，一个存放节点，一个存放值。将根节点加入到队列中，然后遍历队列中的元素，遍历过程中，访问该元素的左右节点，再将左右节点依次加入到队列中。public ArrayList PrintFromTopToBottom(TreeNode ro... 阅读全文

posted @ 2015-11-22 20:41 松伯阅读(293) 评论(0) 推荐(0)

Scala语法笔记

摘要： JAVA中，举例你S是一个字符串，那么s(i)就是该字符串的第i个字符(s.charAt(i)).Scala中使用apply的方法JAVA与C++的?:操作符等同于Scala的if ( x > 0) 1 else -1x>0 ? 1: -1 //JAVA或C++在Scala中，每个表达式都有一个类... 阅读全文

posted @ 2015-11-22 16:17 松伯阅读(434) 评论(0) 推荐(0)

2015年11月21日

栈的压入、弹出序列

摘要：输入两个整数序列，第一个序列表示栈的压入顺序，请判断第二个序列是否为该栈的弹出顺序。假设压入栈的所有数字均不相等。例如序列1,2,3,4,5是某栈的压入顺序，序列4，5,3,2,1是该压栈序列对应的一个弹出序列，但4,3,5,1,2就不可能是该压栈序列的弹出序列。import java.util.A... 阅读全文

posted @ 2015-11-21 22:25 松伯阅读(255) 评论(0) 推荐(0)

2015年11月19日

spark1.4加载mysql数据创建Dataframe及join操作连接方法问题

摘要：首先我们使用新的API方法连接mysql加载数据创建DFimport org.apache.spark.sql.DataFrameimport org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveM... 阅读全文

posted @ 2015-11-19 20:35 松伯阅读(2551) 评论(0) 推荐(0)

2015年11月17日

包含min函数的栈

摘要：定义栈的数据结构，请在该类型中实现一个能够得到栈最小元素的min函数。public:/*入栈时，判断存放最小元素的栈是否为空，入栈元素是否小于存放最小元素栈的栈顶元素*/ void push(int value) { stacktemp.push(value); i... 阅读全文

posted @ 2015-11-17 23:24 松伯阅读(245) 评论(0) 推荐(0)

单点登录filter根据redis中的key判断是否退出

摘要： package com.ailk.biapp.ci.localization.cntv.filter;import java.io.IOException;import java.util.HashMap;import java.util.Map;import javax.servlet.Filte... 阅读全文

posted @ 2015-11-17 00:15 松伯阅读(1211) 评论(0) 推荐(0)

2015年11月16日

JMS的常用方法

摘要： import javax.jms.Connection;import javax.jms.ConnectionFactory;import javax.jms.Destination;import javax.jms.Message;import javax.jms.MessageConsumer;... 阅读全文

posted @ 2015-11-16 23:54 松伯阅读(612) 评论(0) 推荐(0)

2015年11月14日

kafka模拟客户端发送、接受消息

摘要： producer 消息的生成者，即发布消息consumer 消息的消费者，即订阅消息broker Kafka以集群的方式运行，可以由一个或多个服务组成，服务即brokerzookeeper协调转发一、创建topic./kafka-topics.sh --create --zookeeper loc... 阅读全文

posted @ 2015-11-14 19:11 松伯阅读(10428) 评论(0) 推荐(2)

SparkStreaming入门及例子

摘要：看书大概了解了下Streaming的原理，但是木有动过手啊。。。万事开头难啊，一个wordcount 2小时怎么都运行不出结果。是我太蠢了，好了言归正传。SparkStreaming是一个批处理的流式计算框架，适合处理实时数据与历史数据混合处理的场景（比如，你用streaming将实时数据读入处理，... 阅读全文

posted @ 2015-11-14 14:51 松伯阅读(1057) 评论(0) 推荐(0)

调整数组顺序使奇数位于偶数前面

摘要：输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前半部分，所有的偶数位于位于数组的后半部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。思路：类似于插入排序。package practice;public class test { private static v... 阅读全文

posted @ 2015-11-14 11:50 松伯阅读(200) 评论(0) 推荐(0)

2015年11月13日

spark IDEA开发环境搭建及运行问题

摘要：下图是例子:还用说么，引入相关jar包（等下再一一说明) 包括scala，spark-assembly-1.4.1-hadoop2.5.0-cdh5.2.1.jar(按照你的spark和hadoop版本)，还有在spark的lib下datanucleus的jar，mysql的数据源连接，这都是必须的... 阅读全文

posted @ 2015-11-13 00:16 松伯阅读(578) 评论(0) 推荐(0)

2015年11月12日

数值的整数次方

摘要：给定一个double类型的浮点数base和int类型的整数exponent。求base的exponent次方。public class OngoingTimesSquare{ public static double Power(double base,int exponent){ ... 阅读全文

posted @ 2015-11-12 22:48 松伯阅读(185) 评论(0) 推荐(0)

2015年11月11日

二进制中1的个数

摘要：输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。解析：如果一个整数不为0，那么这个整数至少有一位是1。如果我们把这个整数减1，那么原来处在整数最右边的1就会变为0，原来在1后面的所有的0都会变成1(如果最右边的1后面还有0的话)。其余所有位将不会受到影响。举个例子：一个二进制数110... 阅读全文

posted @ 2015-11-11 13:43 松伯阅读(242) 评论(0) 推荐(0)

2015年11月9日

变态跳台阶

摘要：一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。因为n级台阶，第一步有n种跳法：跳1级、跳2级、到跳n级跳1级，剩下n-1级，则剩下跳法是f(n-1)跳2级，剩下n-2级，则剩下跳法是f(n-2)所以f(n)=f(n-1)+f(n-2)+... 阅读全文

posted @ 2015-11-09 18:05 松伯阅读(212) 评论(0) 推荐(0)

Scala第四章学习笔记（面向对象编程)

摘要：延迟构造DelayedInit特质是为编译器提供的标记性的特质。整个构造器被包装成一个函数并传递给delayedInit方法。trait DelayedInit { def deayedInit(x : Unit) : Unit}这个方法接受一个函数对象，函数对象里包含了全部的一般的构造器逻辑... 阅读全文

posted @ 2015-11-09 17:56 松伯阅读(284) 评论(0) 推荐(0)

2015年11月8日

Hbase基本操作~

摘要：创建一个名为PageViews的表，并具有名为info的列簇：create 'PageViews', 'info'每张表至少要有一个列簇，因此我们创建了info，现在，看看我们的表，执行下面list命令：list通过describe命令得到表的更多信息：Describe命令返回表的详细信息，包括列簇... 阅读全文

posted @ 2015-11-08 23:23 松伯阅读(258) 评论(0) 推荐(0)

分页写入文件，第二次分页前一定要关闭IO流啊。。否则文件写不全。。- -粗心

摘要：阅读全文

posted @ 2015-11-08 22:15 松伯阅读(332) 评论(0) 推荐(0)

跳台阶

摘要：一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法。思路：对于第n个台阶来说，只能从n-1或者n-2的台阶跳上来public class jumpFloor { public int jumpFloor(int num){ if(num < ... 阅读全文

posted @ 2015-11-08 15:35 松伯阅读(165) 评论(0) 推荐(0)

2015年11月6日

斐波那契数列

摘要：大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项.public class Fibonacci { public static int[] record = null; public int Fibonaci(int n){ if(n<=1){ ... 阅读全文

posted @ 2015-11-06 13:29 松伯阅读(228) 评论(0) 推荐(0)

Scala第三章学习笔记

摘要：换行后的左大括号造成的问题：class FooHolder{ def foo() { println("foo was called") }}Scala认为def foo()这行代码定义了一个抽象方法。这是因为它没有捕捉到后面的大括号，认定def foo()是完整的一... 阅读全文

posted @ 2015-11-06 11:06 松伯阅读(242) 评论(0) 推荐(0)

2015年11月5日

旋转数组的最小数字

摘要：把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非递减序列的一个旋转，输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小值为1。public int minNumberInRotateArray(vector rotate... 阅读全文

posted @ 2015-11-05 23:55 松伯阅读(207) 评论(0) 推荐(0)

Redis常用方法

摘要：首先构建非切片连接池jedisPool对象，写好配置redis连接的方法。/** * 构建redis切片连接池 * * @param ip * @param port * @return JedisPool */ public static J... 阅读全文

posted @ 2015-11-05 13:16 松伯阅读(5102) 评论(0) 推荐(0)

2015年11月4日

用两个栈实现队列

摘要：用两个栈来实现一个队列，完成队列的Push和Pop操作。队列中的元素为int类型。队列嘛，先进先出，栈嘛，先进后出。于是乎，把第一个栈扔满，然后再一一放到另一个栈中，然后再一一取出来。没了- -public class reconstructionQueue { Stack st... 阅读全文

posted @ 2015-11-04 17:09 松伯阅读(196) 评论(0) 推荐(0)

2015年11月3日

Spark1.4启动spark-shell时initializing失败

摘要：错误信息如下:5/11/03 16:48:15 INFO spark.SparkContext: Running Spark version 1.4.115/11/03 16:48:15 WARN spark.SparkConf: In Spark 1.0 and later spark.local... 阅读全文

posted @ 2015-11-03 17:06 松伯阅读(7041) 评论(0) 推荐(0)

从尾到头打印链表

摘要：输入一个链表，从尾到头打印链表每个节点的值。 public class ListNode { public int data; public ListNode next = null; public ListNode(int data){ this.data = d... 阅读全文

posted @ 2015-11-03 10:32 松伯阅读(211) 评论(0) 推荐(0)

2015年11月2日

Hbase的安装（hadoop-2.6.0,hbase1.0)

摘要： Hbase的安装相对很简单啊。。。只要你装了Hadoop 装Hbase就是分分钟的事如果要装hadoop集群的话 hadoop分类的集群安装好了，如果已经装好单机版~ 那就再配置如下就好~ 一、vi ~/.bash_profile 加入环境变量二、在mapred-site.xml加入... 阅读全文

posted @ 2015-11-02 23:53 松伯阅读(528) 评论(0) 推荐(0)

执行sh文件进行MongoDB的业务逻辑导入

摘要：将从HDFS中的数据转化为Json格式写入文件后，十个文件的文件名为文件名_01 ...._02 ....03格式。编写个简单的sh文件通过for do循环让i+1 文件名对应上就可以的- -执行时要传入文件名称以及需要导入的数据文件的路径，之所以要传进去也是为了方便项目后续更改目录嘛~.s... 阅读全文

posted @ 2015-11-02 17:02 松伯阅读(477) 评论(0) 推荐(0)

Scala第二章学习笔记

摘要：最基本的练习~:使用伴生对象：object holder{class Foo{ private var x = 5}object Foo{def im_in_yr_foo(f: Foo) = f.x}}import holder.Fooval x = new FooFoo.im_in_yr_foo(... 阅读全文

posted @ 2015-11-02 14:03 松伯阅读(231) 评论(0) 推荐(0)

替换空格

摘要：请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。方法1:replace函数 public String replaceBackend(String word){ String a = wo... 阅读全文

posted @ 2015-11-02 12:54 松伯阅读(172) 评论(0) 推荐(0)

2015年11月1日

二维数组中的查找

摘要：在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。public class sort{ public boolean Find(int [][] array,int target... 阅读全文

posted @ 2015-11-01 17:36 松伯阅读(148) 评论(0) 推荐(0)

Scala第一章学习笔记

摘要：面向对象编程是一种自顶向下的程序设计方法。用面向对象方法构造软件时，我们将代码以名词（对象）做切割，每个对象有某种形式的表示服(self/this)、行为（方法）、和状态（成员变量)。识别出名词并且定义出他们的行为之后，再定义出名词之间的交互。函数式编程方法通过组合和应用函数来构造软件。纯粹... 阅读全文

posted @ 2015-11-01 16:40 松伯阅读(362) 评论(0) 推荐(0)

kafka_2.11-0.8.2.2的搭建

摘要：一、下载官网的压缩包~修改conf/server.propertieshost.name=10.10.224.12 （修改为主机ip,不然服务器返回给客户端的是主机的hostname,客户端并不一定能够识别）二、解压并启动Zookeepertar zxvf kafka_2.11-0.8.2.2.tg... 阅读全文

posted @ 2015-11-01 15:02 松伯阅读(689) 评论(0) 推荐(0)

2015年10月31日

用CRT connect MongoDB 使用Backspace无效

摘要：这是个很蛋疼的小问题。。。使用./mongo 10.1.235.62:27017 连接上后打错了无法删除！？这是在逗我，那就修改CRT个设置，点击选项，会话选项，仿真，把终端改成Linux就行了~如图：阅读全文

posted @ 2015-10-31 15:14 松伯阅读(278) 评论(0) 推荐(0)

Hadoop 2.6.0集群搭建

摘要： yum install gcc yum install gcc-c++ yum install make yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openssl-devel gr 阅读全文

posted @ 2015-10-31 14:35 松伯阅读(286) 评论(0) 推荐(0)

2015年10月30日

MongoDB 3.0 导入命令

摘要：在MongoDB的bin目录下执行./mongoimport -h 192.168.77.129 --db test --collection restaurants --drop --file /usr/local/mongodb-linux-x86_64-3.0.6/DW_LABEL_DATAS... 阅读全文

posted @ 2015-10-30 16:23 松伯阅读(239) 评论(0) 推荐(0)

2015年10月29日

MongoDB项目中常用方法

摘要：使用MongoDB连接池MongoOptions来进行连接以及相关方法的调用//获得驱动地址（这里的驱动写入了配置文件中)String serverAddressStr = Configure.getInstance().getProperty("SERVER_ADDRESSES"); lo... 阅读全文

posted @ 2015-10-29 13:08 松伯阅读(583) 评论(0) 推荐(0)

2015年10月28日

Redis简介及3.0.2编译安装

摘要：由于项目需要Redis作为内存数据库，所以也开始搞Redis~Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。... 阅读全文

posted @ 2015-10-28 22:48 松伯阅读(441) 评论(0) 推荐(0)

2015年10月26日

json字符串相关转换方法

摘要： /** json转换为Map* @param jsonStr json* @return map集合*/public static HashMap json2HashMap(String jsonStr) { HashMap data = new HashMap(); // 将json字符串转换成j... 阅读全文

posted @ 2015-10-26 17:52 松伯阅读(223) 评论(0) 推荐(0)

Spark 1.4连接mysql诡异的问题及解决

摘要：在spark-default.conf文件中明明配置了mysql的数据源连接随后启动spark-shell 执行如下测试代码：import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.sql.{SaveMode,... 阅读全文

posted @ 2015-10-26 11:27 松伯阅读(1086) 评论(0) 推荐(0)