摘要: HDFS基本命令 接触大数据挺长时间了,项目刚刚上完线,趁着空闲时间整理下大数据hadoop、Hbase等常用命令以及各自的优化方式,当做是一个学习笔记吧。 HDFS命令基本格式:Hadoop fs -cmd < args > ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下阅读全文
posted @ 2018-02-08 15:55 我心自在 阅读(13) 评论(0) 编辑
摘要: 一、多线程介绍 在编程中,我们不可逃避的会遇到多线程的编程问题,因为在大多数的业务系统中需要并发处理,如果是在并发的场景中,多线程就非常重要了。另外,我们在面试的时候,面试官通常也会问到我们关于多线程的问题,如:如何创建一个线程?我们通常会这么回答,主要有两种方法,第一种:继承Thread类,重写r阅读全文
posted @ 2018-02-05 09:34 我心自在 阅读(356) 评论(0) 编辑
摘要: 项目快上线了,在准生产测试,遇到了一个问题,那就是Linux硬盘资源不够用了,这个问题是当时在装系统的时候,应该装机人员的失误造成的,具体如下: 这个报错原因就是硬盘资源不够用了,使用命令:df -h,看了下系统的硬盘使用情况: 我们可以看到,挂载到root下面的硬盘大小只有10G,这远远是不够的,阅读全文
posted @ 2018-01-20 15:56 我心自在 阅读(52) 评论(0) 编辑
摘要: 解决:java.io.IOException: No FileSystem for scheme: hdfs 开发项目初期,写完代码开始放到服务器上开始测试的时候,报出这样的一个错,不知道怎么处理了,尝试了重新配置HDFS的Configuration,也不行,无奈之下,只好查看源代码,分析错误是从哪阅读全文
posted @ 2018-01-18 15:17 我心自在 阅读(20) 评论(0) 编辑
摘要: 项目背景 某银行的影像平台由于使用时间长,服务器等配置原因,老影像系统满足不了现在日益增长的数据量的需求,所以急需要升级改造。传统的影像平台使用的是Oracle数据库和简单的架构来存储数据(视频、图片等),所以很难满足现在的业务需求,其中最主要的就是存储下载等速度的影响,综合考虑之后,我们给出了升级阅读全文
posted @ 2018-01-11 22:42 我心自在 阅读(561) 评论(0) 编辑
摘要: 项目背景: 在这次影像系统中,我们利用大数据平台做的是文件(图片、视频等)批次的增删改查,每个批次都包含多个文件,上传完成以后要添加文件索引(文件信息及批次信息),由于在Hbase存储的过程中,每个文件都对应一个文件rowKey,一个批次就会有很多个RoweKey,查询的下载的时候就必须根据每个文件阅读全文
posted @ 2018-01-08 14:29 我心自在 阅读(128) 评论(0) 编辑
摘要: 项目中有一个这样的需求,上传文件的时候需要多张文件一起上传,而且每张文件都有自己的文件信息,因为文件信息需要匹配验证,在处理过程中需要传输流的时候前半段固定长度为文件信息,后半段是文件流,而且还是多张批量的情况,经过不断摸索最终想出一个方案:那就是采用合并流,示意图如下: 批次信息[256]+文件信阅读全文
posted @ 2018-01-06 11:57 我心自在 阅读(165) 评论(0) 编辑
摘要: 最近项目中用到了Elasticsearch5.4(ES)是比较新的一个版本,使用的过程中出现了很多的问题,很是头疼,但是问题最终还是解决掉了。 问题一:ESClient获取慢,并且不能获取Client:failed to create a child event loop 由于业务的需要没上传一批文阅读全文
posted @ 2018-01-05 23:10 我心自在 阅读(271) 评论(1) 编辑
摘要: 最近在参与一个项目需求的开发,其中涉及到了身份证号码,身份证号码作为我国公民的唯一标识,有着非同寻常的意义,由于业务的要求15位的身份证号码无法命中,所以需要补全为18位,一开始自己想着加个年份的前两位,后面再加个X不就行了嘛,后来代码写不下去了,上网查了资料,才知道自己想的是多么天真,还是比较复杂阅读全文
posted @ 2017-06-19 21:42 我心自在 阅读(5118) 评论(13) 编辑
摘要: 好久没有更新文章了,总觉得心里空空的,最近由于工作的原因,没有来的及及时更新,总感觉应该把学习到的东西做个记录,供大家学习,也供自己复习,温故而知新。今天趁着周末休息时间,把自己最近在公司的做的项目做一个总结。由于是刚入职不久,进公司负责的项目内容也很少,主要还是以学习为主。 一、项目介绍 某银行移阅读全文
posted @ 2017-06-18 18:58 我心自在 阅读(967) 评论(1) 编辑