部分文章内容为公开资料查询整理，原文出处可能未标注，如有侵权，请联系我，谢谢。邮箱地址：gnivor@163.com ►►►需要气球么？请点击我吧！

10 2015 档案

Spark学习笔记--Transformation 和 action
摘要：转自：http://my.oschina.net/hanzhankang/blog/200275 附：各种操作的逻辑执行图 https://github.com/JerryLead/SparkInternals/blob/master/markdown/2-JobLogicalPlan.md 本文提 阅读全文
posted @ 2015-10-30 16:56 流了个火 阅读(705) 评论(0) 推荐(0)
Spark学习笔记--stage和task的划分
摘要：https://github.com/JerryLead/SparkInternals/blob/master/markdown/3-JobPhysicalPlan.md stage 和 task 的划分问题。只要在 ShuffleDependency 处断开，就只剩 NarrowDependenc 阅读全文
posted @ 2015-10-30 15:38 流了个火 阅读(2642) 评论(0) 推荐(0)
Java并发编程--同步容器
摘要：BlockingQueue 阻塞队列 对于阻塞队列，如果BlockingQueue是空的，从BlockingQueue取东西的操作将会被阻断进入等待状态，直到BlockingQueue进了东西才会被唤醒，如果BlockingQueue是满的，任何试图往里存东西的操作也会被阻断进入等待状态，直到Blo 阅读全文
posted @ 2015-10-27 20:26 流了个火 阅读(281) 评论(0) 推荐(0)
Java并发编程--线程封闭（Ad-hoc封闭 栈封闭 ThreadLocal）
摘要：线程封闭实现好的并发是一件困难的事情，所以很多时候我们都想躲避并发。避免并发最简单的方法就是线程封闭。什么是线程封闭呢？就是把对象封装到一个线程里，只有这一个线程能看到此对象。那么这个对象就算不是线程安全的也不会出现任何安全问题。实现线程封闭有哪些方法呢？1：ad-hoc线程封闭 这... 阅读全文
posted @ 2015-10-27 08:50 流了个火 阅读(3647) 评论(0) 推荐(0)
zookeeper笔记--配置以及和spark hbase结合使用
摘要：Spark集群基于ZooKeeper的搭建：http://www.dataguru.cn/thread-333245-1-1.htmlSpark需要修改的地方：进入spark的配置目录，参照下面代码修改spark-env.shexport SPARK_DAEMON_JAVA_OPTS="-Dspar... 阅读全文
posted @ 2015-10-25 20:40 流了个火 阅读(281) 评论(0) 推荐(0)
HBase笔记--安装及启动过程中的问题
摘要：1.使用hbase shell的时候运行命令执行失败例如：在shell下执行 status，失败。可能的原因：节点之间的时间差距过大解决方法调整两个节点的时间，使二者一致，这里用了个比较笨的方法使用date查看一个结点的时间，然后修改另一节点使二者一直，命令：date -s "24 OCT 2015... 阅读全文
posted @ 2015-10-25 17:26 流了个火 阅读(337) 评论(0) 推荐(0)
Java学习笔记--通过java.net.URLConnection发送HTTP请求
摘要：http://www.cnblogs.com/nick-huang/p/3859353.html 使用Java API发送 get请求或post请求的步骤： 1. 通过统一资源定位器(java.net.URL)获取连接器(java.net.URLConnection)2. 设置请求的参数3. 发送请 阅读全文
posted @ 2015-10-23 22:14 流了个火 阅读(495) 评论(0) 推荐(0)
Java并发编程--理解ThreadLocal
摘要：另一篇博文：Hibernet中的ThreadLocal使用 http://www.cnblogs.com/gnivor/p/4440776.html 本文参考：http://blog.csdn.net/lufeng20/article/details/24314381http://www.cnblo 阅读全文
posted @ 2015-10-23 15:53 流了个火 阅读(867) 评论(0) 推荐(0)
HDFS操作--文件上传/创建/删除/查询文件信息
摘要：1.上传本地文件到HDFS //上传本地文件到HDFS public class CopyFile { public static void main(String[] args) { try { Configuration conf = new Configuration(); String st 阅读全文
posted @ 2015-10-20 19:43 流了个火 阅读(1634) 评论(0) 推荐(0)
Spark学习笔记-三种属性配置详细说明【转】
摘要：相关资料：Spark属性配置 http://www.cnblogs.com/chengxin1982/p/4023111.html本文出处：转载自过往记忆（http://www.iteblog.com/）本文链接地址: 《Spark三种属性配置方式详细说明》（http://www.iteblog.c... 阅读全文
posted @ 2015-10-18 15:34 流了个火 阅读(760) 评论(0) 推荐(0)
Java学习笔记--Java8 Lambda表达式
摘要：Java Lambda表达式入门：http://blog.csdn.net/renfufei/article/details/24600507lambda内容的介绍：http://swiftlet.net/archives/809 阅读全文
posted @ 2015-10-12 19:56 流了个火 阅读(271) 评论(0) 推荐(0)
Java学习笔记--Collection和Collections的区别
摘要：转自http://pengcqu.iteye.com/blog/492196比较Collection 和Collections的区别。1、java.util.Collection 是一个集合接口。它提供了对集合对象进行基本操作的通用接口方法。Collection接口在Java 类库中有很多具体的实现... 阅读全文
posted @ 2015-10-09 16:58 流了个火 阅读(305) 评论(0) 推荐(0)

►►►需要气球么？请点击我吧！►►►
View My Stats