shoudi_study

导航

2016年7月16日 #

javamail 发送附件

摘要： 1.属性文件 阅读全文

posted @ 2016-07-16 09:50 better_me 阅读(249) 评论(0) 推荐(0) 编辑

2016年7月3日 #

Jetty和tomcat的对比

摘要： 上周面试一个来自百度的员工，其中提到一个监控项目，使用jetty容器提供rest api服务，一直懵懂jetty /tomcat这些容器的区别，周末查了下，下面这个说的简单明了~ 转自：http://blog.csdn.net/classicbear/article/details/6968930 阅读全文

posted @ 2016-07-03 18:53 better_me 阅读(283) 评论(0) 推荐(0) 编辑

java nio 与io区别

摘要： 转自：http://blog.csdn.net/keda8997110/article/details/19549493 当学习了Java NIO和IO的API后，一个问题马上涌入脑海： 我应该何时使用IO，何时使用NIO呢？在本文中，我会尽量清晰地解析Java NIO和IO的差异、它们的使用场景， 阅读全文

posted @ 2016-07-03 18:42 better_me 阅读(243) 评论(0) 推荐(0) 编辑

2016年6月14日 #

序列化

摘要： 在java中socket传输数据时，数据类型往往比较难选择。可能要考虑带宽、跨语言、版本的兼容等问题。比较常见的做法有两种：一是把对象包装成JSON字符串传输，二是采用java对象的序列化和反序列化。随着Google工具protoBuf的开源，protobuf也是个不错的选择。对JSON,Objec 阅读全文

posted @ 2016-06-14 16:40 better_me 阅读(151) 评论(0) 推荐(0) 编辑

2016年6月6日 #

spark-sql性能测试

摘要： 一，测试环境 1） 硬件环境完全相同： 包括：cpu/内存/网络/磁盘Io/机器数量等 2）软件环境： 相同数据 相同测试用例 3） 不同计算框架，其中spark-sql 都是基于yarn的 4）spark-sql executor内存总量不大于 hive使用内存峰值 二，不同框架在两个测试用例下的 阅读全文

posted @ 2016-06-06 16:02 better_me 阅读(2878) 评论(0) 推荐(0) 编辑

spark应用程序常见问题整理

摘要： 1.executor lost /java oom 通常是由于单个task内存占用过多，可以观察是哪个阶段挂的，如果类似groupbykey，可以看看是否有数据倾斜现象 如果不是，可以repartition手动增加partitioin数，减少单个task的资源消耗 有cache操作，partitio 阅读全文

posted @ 2016-06-06 15:56 better_me 阅读(780) 评论(0) 推荐(0) 编辑

内存分布式文件系统

摘要： 1.背景 Spark平台以分布式内存计算的模式达到更高的计算性能，然而，分布式内存计算的模式也是一柄双刃剑，在提高性能的同时不得不面对分布式数据存储所产生的问题，具体问题主要有以下几个： 1) 当两个Spark作业需要共享数据时，必须通过写磁盘操作。比如：作业1要先把生成的数据写入HDFS，然后作业 阅读全文

posted @ 2016-06-06 15:53 better_me 阅读(1690) 评论(0) 推荐(0) 编辑

2016年6月2日 #

HttpRequestUtil

摘要： package com.didichuxing.tempdirreader;import com.alibaba.fastjson.JSONObject;import java.io.UnsupportedEncodingException;import java.net.URLEncoder;im 阅读全文

posted @ 2016-06-02 12:12 better_me 阅读(1926) 评论(1) 推荐(0) 编辑

2016年6月1日 #

java发送http的get、post请求[转]

摘要： 原文链接：http://www.cnblogs.com/zhuawang/archive/2012/12/08/2809380.html package wzh.Http; import java.io.BufferedReader;import java.io.IOException;import 阅读全文

posted @ 2016-06-01 12:11 better_me 阅读(314) 评论(1) 推荐(0) 编辑

2015年1月26日 #

hive问题整理（待续）

摘要： 本人对hadoop生态系统的环境搭建、配置相关再熟悉不过了，周末刚测试过oozie相关的 今早使用hive，报错： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveC 阅读全文

posted @ 2015-01-26 12:37 better_me 阅读(179) 评论(0) 推荐(0) 编辑

下一页