南湖公明

摘要： 首先你得已经成为公司里“最好”的程序员，或者你已经找不到可作为老师和导师的人关于这一点，很多人都会过度自信，所以我们需要诚实地评估自己的技能。再则，即便你承认自己不是最好的，那么你去请教的“前辈”又是否乐意将他们的知识分享给你？是的，即使你所在的公司聘用的都是身怀绝技的牛人，但是如果这些人各忙各的， 阅读全文

摘要： 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d 阅读全文

摘要： 1，按照如下图步骤将-XX:PermSize及 -XX:MaxPermSize的值修改到足够小，故意造项目启动报错，我设置为32m.然后保存。 2.在IDE中启动tomcat的同时打开dos窗口，使用jps命令获取进程id:(此进程id即为在windows任务管理器-进程中的javaw.exe的进程 阅读全文

摘要： 堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制.32位系统 下,一般限制在1.5G~2G;64为操作系统对内存无限制.我在Windows Server 2003 系统,3.5G物理内存,JDK5.0 阅读全文

摘要： Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://sparkcluster"); conf.set("dfs.nameservices", "sparkcluster"); conf.set("dfs 阅读全文

摘要： 1. 抓包 2. 转成hex二进制流 3. 将二进制流转成base64位，通过在线工具: http://tomeko.net/online_tools/hex_to_base64.php?lang=en iVBORw0KGgoAAAANSUhEUgAAAMAAAABeCAYAAAB1sBs0AAAK 阅读全文

摘要： Wireshark 基本语法，基本使用方法，及包过虑规则： 1.过滤IP，如来源IP或者目标IP等于某个IP 例子: ip.src eq 192.168.1.107 or ip.dst eq 192.168.1.107 或者 ip.addr eq 192.168.1.107 // 都能显示来源IP和 阅读全文

摘要： import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoo... 阅读全文

摘要： 搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （如果想看最终解决问题的方法拉到最后，如果想看我的问 阅读全文

摘要： 所需要配置的参数： Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop2cluster"); conf.set("dfs.nameservices", "hadoop2cluster"); 阅读全文