01 2017 档案

JSP SERVLET 基础知识
摘要：jsp(java server page)和servlet是JAVA EE规范的两个基本成员，是JAVA WEB开发的重点也是基础知识。JSP本质上也需要编译成SERVLET运行。 JSP比较简单，可以理解为在HTML页面中嵌入JAVA代码，或使用各种JSP标签，再辅以各种JAVA BEAN. Servlet 在MVC规范出来以后，仅仅作为... 阅读全文

posted @ 2017-01-31 21:01 tneduts 阅读(344) 评论(0) 推荐(0)

记录一次代码错误，elastic search的INDEX需要使用小写字母
摘要：Caused by: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot determine write shards for [CC-2017.01.24/compliance]; likely its format 阅读全文

posted @ 2017-01-24 19:34 tneduts 阅读(2296) 评论(1) 推荐(0)

HIVE大数据出现倾斜怎么办
摘要：hive在跑数据时经常会出现数据倾斜的情况，使的作业经常reduce完成在99%后一直卡住，最后的１%花了几个小时都没跑完，通过YARN的管理界面配合日志，可以清楚其中的具体原因，这种情况就很可能是数据倾斜的原因，解决方法要根据具体情况来选择具体的方案 1.如果你知道某些字段造成的倾斜，可以把这些字段抽出来单独处理，这样的话，MR会多分配几个实例，提高执行速度。 2. set h... 阅读全文

posted @ 2017-01-11 22:52 tneduts 阅读(568) 评论(0) 推荐(0)

Hadoop性能调优
摘要：1 硬件选择 主要区分NAMENODE与DATANODE的功能需求，NN维护全局元数据信息，随着保存的INODES数量的增加，对内存需求增加，按每一百万INODES一G来粗略计算，JVM的XMX参数需要动态调整。 2 OS参数调优 操作系统，生产环境中都使用LINUX，以下就是指对LINUX系统的参数调优。 A.增加同时打开的文件描述符和网络连接上限 在系统运行中，随着接受作业数量的增加... 阅读全文

posted @ 2017-01-10 21:07 tneduts 阅读(2766) 评论(0) 推荐(0)

hortonworks2.5.3 install step log
摘要：1.创建本地YUM源，下载TAR。GZ HDP，HDP－UTILS，AMBARI介质安装HTTPD，在／VAR／WWW／HTML／下创建三个相应的目录，把以上解压的三个目录链接过来在三个目录中执行命令，createrepo ./至此，本地YUM源创建完毕。 cd /etc/yum.repos.d/ 阅读全文

posted @ 2017-01-03 10:58 tneduts 阅读(298) 评论(0) 推荐(0)

导航