better_me - 博客园

javamail 发送附件

摘要： 1.属性文件阅读全文

posted @ 2016-07-16 09:50 better_me 阅读(251) 评论(0) 推荐(0)

Jetty和tomcat的对比

摘要：上周面试一个来自百度的员工，其中提到一个监控项目，使用jetty容器提供rest api服务，一直懵懂jetty /tomcat这些容器的区别，周末查了下，下面这个说的简单明了~ 转自：http://blog.csdn.net/classicbear/article/details/6968930 阅读全文

posted @ 2016-07-03 18:53 better_me 阅读(305) 评论(0) 推荐(0)

java nio 与io区别

摘要：转自：http://blog.csdn.net/keda8997110/article/details/19549493 当学习了Java NIO和IO的API后，一个问题马上涌入脑海：我应该何时使用IO，何时使用NIO呢？在本文中，我会尽量清晰地解析Java NIO和IO的差异、它们的使用场景，阅读全文

posted @ 2016-07-03 18:42 better_me 阅读(255) 评论(0) 推荐(0)

序列化

摘要：在java中socket传输数据时，数据类型往往比较难选择。可能要考虑带宽、跨语言、版本的兼容等问题。比较常见的做法有两种：一是把对象包装成JSON字符串传输，二是采用java对象的序列化和反序列化。随着Google工具protoBuf的开源，protobuf也是个不错的选择。对JSON,Objec 阅读全文

posted @ 2016-06-14 16:40 better_me 阅读(155) 评论(0) 推荐(0)

spark-sql性能测试

摘要：一，测试环境 1）硬件环境完全相同：包括：cpu/内存/网络/磁盘Io/机器数量等 2）软件环境：相同数据相同测试用例 3）不同计算框架，其中spark-sql 都是基于yarn的 4）spark-sql executor内存总量不大于 hive使用内存峰值二，不同框架在两个测试用例下的阅读全文

posted @ 2016-06-06 16:02 better_me 阅读(2942) 评论(0) 推荐(0)

spark应用程序常见问题整理

摘要： 1.executor lost /java oom 通常是由于单个task内存占用过多，可以观察是哪个阶段挂的，如果类似groupbykey，可以看看是否有数据倾斜现象如果不是，可以repartition手动增加partitioin数，减少单个task的资源消耗有cache操作，partitio 阅读全文

posted @ 2016-06-06 15:56 better_me 阅读(814) 评论(0) 推荐(0)

内存分布式文件系统

摘要： 1.背景 Spark平台以分布式内存计算的模式达到更高的计算性能，然而，分布式内存计算的模式也是一柄双刃剑，在提高性能的同时不得不面对分布式数据存储所产生的问题，具体问题主要有以下几个： 1) 当两个Spark作业需要共享数据时，必须通过写磁盘操作。比如：作业1要先把生成的数据写入HDFS，然后作业阅读全文

posted @ 2016-06-06 15:53 better_me 阅读(1715) 评论(0) 推荐(0)

HttpRequestUtil

摘要： package com.didichuxing.tempdirreader;import com.alibaba.fastjson.JSONObject;import java.io.UnsupportedEncodingException;import java.net.URLEncoder;im 阅读全文

posted @ 2016-06-02 12:12 better_me 阅读(1978) 评论(1) 推荐(0)

java发送http的get、post请求[转]

摘要：原文链接：http://www.cnblogs.com/zhuawang/archive/2012/12/08/2809380.html package wzh.Http; import java.io.BufferedReader;import java.io.IOException;import 阅读全文

posted @ 2016-06-01 12:11 better_me 阅读(326) 评论(1) 推荐(0)

hive问题整理（待续）

摘要：本人对hadoop生态系统的环境搭建、配置相关再熟悉不过了，周末刚测试过oozie相关的今早使用hive，报错： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveC 阅读全文

posted @ 2015-01-26 12:37 better_me 阅读(194) 评论(0) 推荐(0)

shoudi_study

导航

公告