上一页 1 2 3 4 5 6 ··· 10 下一页

2017年9月8日

maven shade插件小记

摘要:maven shade plugin插件小用 项目中一直使用assembly插件来整合依赖包到一个胖jar,在做这个akka http项目的时候,在scala ide的run/debug中都执行正常,打包后执行就一直报报不到configuration项目的问题. 判断是assembly在解压合并相关 阅读全文

posted @ 2017-09-08 15:16 tneduts 阅读(504) 评论(0) 推荐(0) 编辑

2017年8月25日

mysql调优小记

摘要:对于INNODB,主键就是聚集索引,如果没有主键定义,则第一个唯一非空索引被作为聚集索引.如果没有主键也没有合适的唯一索引,那么innodb内部会生成一个隐藏的主键作为聚集索引,这个隐藏的主键类似一个自增的id(int).删除与重新添加主键alter table tbname drop primar 阅读全文

posted @ 2017-08-25 21:16 tneduts 阅读(119) 评论(1) 推荐(0) 编辑

2017年8月19日

CDH5离线安装简记

摘要:CDH,hadoop 阅读全文

posted @ 2017-08-19 18:11 tneduts 阅读(111) 评论(1) 推荐(0) 编辑

2017年8月13日

httpfs的使用

摘要:在项目中使用到hdfs作为存储,为了在不同的节点加载hdfs上的数据,我们使用nfsv3服务,在客户端使用 root来mount hdfs上的数据到本地,然后把本地的数据发到hdfs上,因为这个我们的集群namenode是HA的, 所以在mount前,需要确认active的namenode,而且比较不爽的事,如果客户端的机器/etc/hosts中需要配置所有的datanodes机器信息。 后来找到... 阅读全文

posted @ 2017-08-13 21:13 tneduts 阅读(1460) 评论(0) 推荐(0) 编辑

2017年8月10日

spark-sql做ETL时遇到的两个问题

摘要:项目中使用spark-sql来作ETL,遇到两个问题,记录一下。 问题1: spark-sql –master yarn –hiveconf load_date=`date –d ..` -e ‘insert overwrite table tbl(.) select distinct * from tbl” 在hdfs上这个表所在的目录下面会产生很多的类似.hive-s... 阅读全文

posted @ 2017-08-10 13:41 tneduts 阅读(965) 评论(0) 推荐(0) 编辑

2017年5月20日

zookeeper基础知识

摘要:Zookeeper 不仅能够帮你维护当前的集群中机器的服务状态,而且能够帮你选出一个“总管”,让这个总管来管理集群,这就是 Zookeeper 的另一个功能 Leader Election。配置管理(Configuration Management)配置的管理在分布式应用环境中很常见,例如同一个应用 阅读全文

posted @ 2017-05-20 21:15 tneduts 阅读(131) 评论(0) 推荐(0) 编辑

spark streaming基础知识1

摘要:1.怎么理解spark streaming中的dstream? 它是spark streaming的基础数据结构,代表着(time,RDD)序列,有两种生成方式,一种是基于流数据创建(kafka,socket...),一种是基于已有的dstream进行转换产生.在spark streaming作业运 阅读全文

posted @ 2017-05-20 12:30 tneduts 阅读(190) 评论(2) 推荐(0) 编辑

scala和正则表达式常用基础知识示例

摘要:http://www.cnblogs.com/deerchao/archive/2006/08/24/zhengzhe30fengzhongjiaocheng.html. 匹配除换行符以外的任意字符\w 匹配字母或数字或下划线或汉字\s 匹配任意的空白符\d 匹配数字\b 匹配单词的开始或结束^ 匹 阅读全文

posted @ 2017-05-20 07:31 tneduts 阅读(509) 评论(0) 推荐(0) 编辑

2017年5月18日

有关RDD的基础学习1

摘要:1.spark rdd为什么不能嵌套? 譬如 val rdd1=sc.parallel(range(1,100)) val rdd2=sc.parallel(range(1,100)) rdd1.map(x=>rdd.count()) 因为rdd的构造器中rdd(@trancient sc:Spar 阅读全文

posted @ 2017-05-18 21:50 tneduts 阅读(213) 评论(0) 推荐(0) 编辑

2017年5月17日

JAVA中hashmap的分析

摘要:从http://blog.csdn.net/luanlouis/article/details/41576373?utm_source=tuicool&utm_medium=referral 学习到了java中hashmap的内部原理,非常不错的文章,非常感谢作者的奉献.以下为主要内容摘录. jav 阅读全文

posted @ 2017-05-17 08:07 tneduts 阅读(163) 评论(0) 推荐(0) 编辑

2017年5月13日

关于ldap的学习

摘要:主要从以下网站学习了相关基础知识概念,安装与基本配置. http://www.aikaiyuan.com/8269.htmlhttps://segmentfault.com/a/1190000002607140http://www.xuexikuai.com/html/201612/247991.h 阅读全文

posted @ 2017-05-13 09:52 tneduts 阅读(221) 评论(0) 推荐(0) 编辑

2017年5月3日

hdp (ambari) 集成hue

摘要:ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基于HDP来访问HUE,暂时没有做尝试 我尝试了,使用hdp自带的hue rpm包来安装,直接yum i 阅读全文

posted @ 2017-05-03 16:48 tneduts 阅读(3813) 评论(1) 推荐(0) 编辑

2017年4月18日

Hive的metastore

摘要:hive --service metastore 默认端口是9083 <property> <name>hive.metastore.uris</name> <value>thrift://hiveserver1:9083</value> </property> 在连接hive的客户端,如spark 阅读全文

posted @ 2017-04-18 23:13 tneduts 阅读(162) 评论(0) 推荐(0) 编辑

2017年2月26日

windows 常用cmd命令

摘要:为了减少使用鼠标的频次,熟记一些常用应用的快捷键与系统本身常用的命令是必须的,以下记录一些常用的windows系统命令。 查看网络端口占用情况 :netstat -ano | findstr 8080列出任务列表 tasklist |findstr 920根据应用名称杀死任务 taskkill /f 阅读全文

posted @ 2017-02-26 07:56 tneduts 阅读(173) 评论(1) 推荐(0) 编辑

2017年2月14日

HDFS datanode心跳与运维中的实际案例

摘要:分布式系统的节点之间常采用心跳来维护节点的健康状态,如yarn的rm与nm之间,hdfs的nn与dn之间。DataNode会定期(dfs.heartbeat.interval配置项配置,默认是3秒)向namenode发送心跳,如果Namenode长时间没有接受到datanode发送的心跳,我们在50 阅读全文

posted @ 2017-02-14 09:45 tneduts 阅读(1515) 评论(0) 推荐(0) 编辑

2017年2月7日

scala drools and map

摘要:需求,安全检查,例如Linux系统,用户安全检查,配置项检查等,这些检查的规则在Drools里面去实现,数据传送过来即可, 问题:如何定义数据结构,不同的检查项会有不同的数据结构,如何规范呢? 思路: 使用map嵌套的思路,检查的数据输出过来是json的格式发送到kafka,然后spark streaming程序直接读取json,然后转为map进行处理。 遇到的问题,一开始代码是使用scala.... 阅读全文

posted @ 2017-02-07 17:49 tneduts 阅读(956) 评论(0) 推荐(0) 编辑

hadoop nn 运维一例

摘要:nn1 崩溃之后,nn2变为active,但是nn1日志中有异常,处于standby状态的,无法响应读的操作 最后查出原因是因为fensing的问题。 阅读全文

posted @ 2017-02-07 10:43 tneduts 阅读(217) 评论(0) 推荐(0) 编辑

2017年2月1日

Eclipse 多行注释选择

摘要:1.Eclipse 中的多行注释 选择与清除 (?s)\/\*\*.*?\*\/ (?s)可以匹配多行 \/\*\*表示以/**开头 匹配类似 /** * * * * asdfasdf */ 阅读全文

posted @ 2017-02-01 21:53 tneduts 阅读(228) 评论(0) 推荐(0) 编辑

2017年1月31日

JSP SERVLET 基础知识

摘要:jsp(java server page)和servlet是JAVA EE规范的两个基本成员,是JAVA WEB开发的重点也是基础知识。JSP本质上也需要编译成SERVLET运行。 JSP比较简单,可以理解为在HTML页面中嵌入JAVA代码,或使用各种JSP标签,再辅以各种JAVA BEAN. Servlet 在MVC规范出来以后,仅仅作为... 阅读全文

posted @ 2017-01-31 21:01 tneduts 阅读(192) 评论(0) 推荐(0) 编辑

2017年1月24日

记录一次代码错误,elastic search的INDEX需要使用小写字母

摘要:Caused by: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot determine write shards for [CC-2017.01.24/compliance]; likely its format 阅读全文

posted @ 2017-01-24 19:34 tneduts 阅读(1873) 评论(1) 推荐(0) 编辑

2017年1月11日

HIVE大数据出现倾斜怎么办

摘要:hive在跑数据时经常会出现数据倾斜的情况,使的作业经常reduce完成在99%后一直卡住,最后的1%花了几个小时都没跑完,通过YARN的管理界面配合日志,可以清楚其中的具体原因,这种情况就很可能是数据倾斜的原因,解决方法要根据具体情况来选择具体的方案 1.如果你知道某些字段造成的倾斜,可以把这些字段抽出来单独处理,这样的话,MR会多分配几个实例,提高执行速度。 2. set h... 阅读全文

posted @ 2017-01-11 22:52 tneduts 阅读(407) 评论(0) 推荐(0) 编辑

2017年1月10日

Hadoop性能调优

摘要:1 硬件选择 主要区分NAMENODE与DATANODE的功能需求,NN维护全局元数据信息,随着保存的INODES数量的增加,对内存需求增加,按每一百万INODES一G来粗略计算,JVM的XMX参数需要动态调整。 2 OS参数调优 操作系统,生产环境中都使用LINUX,以下就是指对LINUX系统的参数调优。 A.增加同时打开的文件描述符和网络连接上限 在系统运行中,随着接受作业数量的增加... 阅读全文

posted @ 2017-01-10 21:07 tneduts 阅读(2493) 评论(0) 推荐(0) 编辑

2017年1月3日

hortonworks2.5.3 install step log

摘要:1.创建本地YUM源,下载TAR。GZ HDP,HDP-UTILS,AMBARI介质安装HTTPD,在/VAR/WWW/HTML/下创建三个相应的目录,把以上解压的三个目录链接过来在三个目录中执行命令,createrepo ./至此,本地YUM源创建完毕。 cd /etc/yum.repos.d/ 阅读全文

posted @ 2017-01-03 10:58 tneduts 阅读(193) 评论(0) 推荐(0) 编辑

2016年12月29日

项目笔记

摘要:1.SPARK-SQL 执行几个集市表的ETL报错,出错为空指针异常,推断的表中数据内容有问题,同事重新生成一HIVE表后导入数据,问题消除,未找到根本原因 2.SQOOP提交时按队列 sqoop -D mapred.job.queue.name=queuename SQOOP通过METASTORE 阅读全文

posted @ 2016-12-29 18:33 tneduts 阅读(322) 评论(0) 推荐(0) 编辑

2016年10月31日

centos 7 install python spynner

摘要:yum install python-devel yum install libXtst-devel pip install autopy pip install spynner import spynnerImportError: No module named QtWebKityum insta 阅读全文

posted @ 2016-10-31 09:26 tneduts 阅读(262) 评论(0) 推荐(0) 编辑

2016年10月28日

hdfs client access the hdfs cluster not in one domain

摘要:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsMultihoming.html#Clients_use_Hostnames_when_connecting_to_DataNodes sometimes when you access your hadoop cluster outside the... 阅读全文

posted @ 2016-10-28 14:47 tneduts 阅读(280) 评论(0) 推荐(0) 编辑

2016年10月25日

shell parameter expansitions

摘要:type testtype -a testmath calculate:echo $((1+2*3))parameter expansition:bash-4 introduced features:var=studentecho ${var^} //Studentecho ${var^^} //S 阅读全文

posted @ 2016-10-25 10:48 tneduts 阅读(141) 评论(0) 推荐(0) 编辑

2016年10月24日

DOM document object model learn

摘要:DOM对W3C DOM而言,HTML文档中任何一样东西都是一个节点,而且节点之间是有层次的。如<p>I am a JavaScript hacker.</p>有两个节点,一个是P标签的元素节点,一个是文字节点,P节点包含文本节点。按照这样的节点层次,所有节点构成了一棵文档树。节点类型文档节点 nod 阅读全文

posted @ 2016-10-24 14:48 tneduts 阅读(143) 评论(0) 推荐(0) 编辑

2016年10月23日

BOM与事件

摘要:PPK谈JS学习笔记第二弹 JS的语言核心和DOM之间有一个过渡层,一般称为BOM,浏览器对象模型。是指JS的客户端实现,它不操作DOM,又不是JS的语言核心,它的主要功能是管理浏览器窗口,每个窗口都有各自独立的WINDOW对象,并使得它们可以彼此通信,window对象是BOM的核心。为了访问HTM 阅读全文

posted @ 2016-10-23 11:08 tneduts 阅读(1248) 评论(1) 推荐(0) 编辑

2016年10月22日

PPK谈JS笔记第一弹

摘要:以下内容是读书笔记,再一次温习JS好书:PPK谈JS window.load=initializePageaddEventSimple('window','load',function(){})load事件在页面被完成加载时触发,显然这正是我们初始化脚本所需要的。问题是如果同时批量初始化,可能会发生 阅读全文

posted @ 2016-10-22 19:00 tneduts 阅读(136) 评论(0) 推荐(0) 编辑

2016年10月20日

使用expect scp避免直接输密码

摘要:需求:现在有一百多台的机器,都是使用用户名密码登录做一些运维操作,不想因为密码变更造成管理上的一些麻烦,所以改为通过密钥文件的方式进行登录,需要提前做一些准备工作,把准备好的。SSH文件复制到各机器的特定用户目录下。 操作:需要使用到EXPECT或者SSHPASS。这里选择EXPECT为例: 保存为 阅读全文

posted @ 2016-10-20 10:10 tneduts 阅读(2098) 评论(2) 推荐(0) 编辑

2016年10月8日

JSCH通过密钥文件进行远程访问

摘要:需求:WEB app 需要使用JSCH来通过密钥文件的方式进行SFTP/SSH访问远程LINUX机器 实现方式:假设远程机器都含有用户名为hadoop的用户,因为密码因为策略的要求密码会随时间发生变化,所以希望使用密钥的方式进行访问机器,这样不会因为密码的变化而无法访问远程机器。 基本原理:SSH访问,被访问的机器首先需要启动SSHD服务,然后通过SSH-KEYGEN 默认生成RSA的公私密钥... 阅读全文

posted @ 2016-10-08 15:44 tneduts 阅读(7753) 评论(0) 推荐(1) 编辑

2016年10月2日

opentsdb basic install

摘要:git clone git://github.com/OpenTSDB/opentsdb.git cd opentsdb ./build.sh env COMPRESSION=NONE HBASE_HOME=/data/hbase123 ./src/create_table.sh 在生产环境中,最好设定一种压缩格式,如LZO,GZIP,SNAPPY。 ./src/open... 阅读全文

posted @ 2016-10-02 10:28 tneduts 阅读(98) 评论(0) 推荐(0) 编辑

2016年9月29日

CENTOS安装XXNET

摘要:centos7 运行XXNET时报错,需要安装PYSSL,请执行这个命令即可。 之前一直尝试使用CENTOS6。8安装,蓝灯或XXNET都不成功,原因是系统的库文件太旧。 翻墙有瘾 阅读全文

posted @ 2016-09-29 09:57 tneduts 阅读(1374) 评论(0) 推荐(0) 编辑

2016年9月20日

mysql5.7 root password change

摘要:mysqld_safe --skip-grant-tables &update mysql.user set authentication_string=password('Root_1234') where user='root';flush privilegeskillall -TERM mys 阅读全文

posted @ 2016-09-20 14:41 tneduts 阅读(105) 评论(5) 推荐(0) 编辑

2016年9月19日

spark standalone ha spark submit

摘要:when you build a spark standalone ha cluster, when you submit your app, you should send it to the leader master, not the standby master, how to decide 阅读全文

posted @ 2016-09-19 15:45 tneduts 阅读(148) 评论(0) 推荐(0) 编辑

2016年9月16日

Centos7 and docker practices

摘要:1. Failed to get D-Bus connection: Operation not permitted error when you execute the systemctl start sshd or start other service, maybe you will encounter this error. this is a bug for Centos7, i... 阅读全文

posted @ 2016-09-16 16:14 tneduts 阅读(240) 评论(10) 推荐(0) 编辑

2016年8月29日

HADOOP HA切换后出现MSSING BLOCK

摘要:HDFS HA切换后missing block问题分析 今天因为调整一个NN的参数,所以切换一个ACTIVE的NN,发生了MISSING BLOCK。 怀疑可能是EDITLOG没有同步完成,可能是误报。 找到这http://blog.csdn.net/u011291159/article/detai 阅读全文

posted @ 2016-08-29 15:09 tneduts 阅读(163) 评论(0) 推荐(0) 编辑

2016年8月24日

高效常用的SHELL

摘要:1.大写转为小写echo "ALLUXIO_WORKER_MEMORY_SIZE" | tr -s '[:upper:]' '[:lower:]'2.case的时候可以使用正则#enable the regexp case matchshopt -s extglob 3;删除空行 替换掉注释掉的行 阅读全文

posted @ 2016-08-24 07:00 tneduts 阅读(129) 评论(2) 推荐(0) 编辑

2016年8月20日

java md5

摘要:需求是,上传文件到HDFS,然后生成同名的MD5文件,基本示例如下: 报数据的格式不正确,提示错误不是校验失败。 阅读全文

posted @ 2016-08-20 09:27 tneduts 阅读(225) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 10 下一页

导航