摘要: 1.logging模块的使用非常简单,引入模块就可以使用。 import logging logging.debug('This is debug message') logging.info('This is info message') logging.warning('This is warn 阅读全文
posted @ 2017-11-27 19:46 rickiyang 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 前面简单介绍了hadoop生态圈,大致了解hadoop是什么、能做什么。带着这些目的我们深入的去学习他。今天一起看一下hadoop的基石—-文件存储。因为hadoop是运行与集群之上,处于分布式环境之中,所以他的文件存储也不同与普通的本地存储,而是分布式存储系统,HDFS(The Hadoop Di 阅读全文
posted @ 2017-11-27 11:07 rickiyang 阅读(338) 评论(0) 推荐(0) 编辑
摘要: 程序员就得不停地学习啊,故步自封不能满足公司的业务发展啊!所以我们要有搞事情的精神。都说现在是大数据的时代,可以我们这些码农还在java的业务世界里面转悠呢。好不容易碰到一个可能会用到大数据技术的场景时可惜你又没这个技术把这一票接下来!书到用时方恨少。所以我们也要与时代同进步,搞搞大数据。分布式的基 阅读全文
posted @ 2017-11-27 10:52 rickiyang 阅读(699) 评论(1) 推荐(1) 编辑
摘要: 这一篇我们来看文件读写操作。 打开和创建文件主要是open()函数: f = open(‘filename’,’r’) # 读模式 f = open(‘filename’,’w’) # 写模式 f = open(‘filename’,’a’) # 追加模式 f = open(‘filename’,’ 阅读全文
posted @ 2017-06-27 00:12 rickiyang 阅读(187) 评论(0) 推荐(0) 编辑
摘要: 其实ThreadLocal很多接触过多线程的同学都可能会很陌生,他不像current包里面那些耳熟能详的api一样在我们面前经常出现,更多的他作为一个本地类出现在系统设计里面。... 阅读全文
posted @ 2017-06-21 00:24 rickiyang 阅读(443) 评论(0) 推荐(0) 编辑
摘要: activemq作为消息中间件这样一个独立的个体存在,连通用户和服务器。如果没有一套完备的安全机制去设置用户权限设置消息分发机制可想后果是非常严重。ActiveMQ如果不加入安全机制的话,任何人只要知道消息服务的具体地址(包括ip,端口,消息地址[队列或者主题地址,),都可以肆无忌惮的发送、接收消息 阅读全文
posted @ 2017-05-29 13:20 rickiyang 阅读(467) 评论(0) 推荐(0) 编辑
摘要: 今天我们来完成一个使用netty进行文件传输的任务。在实际项目中,文件传输通常采用FTP或者HTTP附件的方式。事实上通过TCP Socket+File的方式进行文件传输也有一定的应用场景,尽管不是主流,但是掌握这种文件传输方式还是比较重要的,特别是针对两个跨主机的JVM进程之间进行持久化数据的相互 阅读全文
posted @ 2017-05-28 14:15 rickiyang 阅读(2235) 评论(0) 推荐(0) 编辑
摘要: 前面我们讲过protobuf的使用,主流的编解码框架其实还有很多种: ①JBoss的Marshalling包 ②google的Protobuf ③基于Protobuf的Kyro ④Apache的Thrift JBoss Marshalling是一个Java对象的序列化API包,修正了JDK自带的序列 阅读全文
posted @ 2017-05-16 22:14 rickiyang 阅读(525) 评论(0) 推荐(0) 编辑
摘要: 这一节我们看一下Topic模式下的消息发布是如何处理的。 applicationContext-ActiveMQ.xml配置: <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/sc 阅读全文
posted @ 2017-05-12 00:08 rickiyang 阅读(270) 评论(0) 推荐(0) 编辑
摘要: 对于activemq消息的持久化我们在第二节的时候就简单介绍过,今天我们详细的来分析一下activemq的持久化过程以及持久化插件。在生产环境中为确保消息的可靠性,我们肯定的面临持久化消息的问题,今天就一起来攻克他吧。 1. 持久化方式介绍 前面我们也简单提到了activemq提供的插件式的消息存储 阅读全文
posted @ 2017-05-11 21:52 rickiyang 阅读(325) 评论(0) 推荐(0) 编辑