摘要: JDBC(java Database Connectivity)java数据库连接,是一种用于执行上sql语句的javaAPI,可以为多种关系型数据库提供统一访问接口。我们项目中经常用到的MySQL、oracle、DB2等关系型数据库均是通过JDBC来访问的,现在主流的ORM框架Hibernate、阅读全文
posted @ 2018-04-03 11:43 我心自在 阅读(345) 评论(0) 编辑
摘要: 一、什么是线程池 为什么要使用线程池?在多线程并发开发中,线程的数量较多,且每个线程执行一定的时间后就结束了,下一个线程任务到来还需要重新创建线程,这样线程数量特别庞大的时候,频繁的创建线程和销毁线程需要一定时间而且增加系统的额外开销。基于这样的场景,线程池就出现了,线程池可以做到一个线程的任务处理阅读全文
posted @ 2018-03-21 22:37 我心自在 阅读(333) 评论(0) 编辑
摘要: 一、Netty框架介绍 什么是netty?先看下百度百科的解释: Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。 也就是说,Netty 是一个基于NIO的客户、服务器端编程框架,使用N阅读全文
posted @ 2018-03-01 20:15 我心自在 阅读(471) 评论(0) 编辑
摘要: 项目将近尾声,上线一切顺利,在开发过程中遇到了不少的问题,趁着空闲时间对项目中遇到的常见问题做一个总结,当作一个笔记,问题如下: 出现这种情况大多是结点断了,没有连接上。检查配置,重新启动服务即可。 2. java.lang.OutOfMemoryError: Java heap space 出现这阅读全文
posted @ 2018-02-20 18:51 我心自在 阅读(46) 评论(0) 编辑
摘要: HDFS基本命令 接触大数据挺长时间了,项目刚刚上完线,趁着空闲时间整理下大数据hadoop、Hbase等常用命令以及各自的优化方式,当做是一个学习笔记吧。 HDFS命令基本格式:Hadoop fs -cmd < args > ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下阅读全文
posted @ 2018-02-08 15:55 我心自在 阅读(75) 评论(0) 编辑
摘要: 一、多线程介绍 在编程中,我们不可逃避的会遇到多线程的编程问题,因为在大多数的业务系统中需要并发处理,如果是在并发的场景中,多线程就非常重要了。另外,我们在面试的时候,面试官通常也会问到我们关于多线程的问题,如:如何创建一个线程?我们通常会这么回答,主要有两种方法,第一种:继承Thread类,重写r阅读全文
posted @ 2018-02-05 09:34 我心自在 阅读(843) 评论(0) 编辑
摘要: 项目快上线了,在准生产测试,遇到了一个问题,那就是Linux硬盘资源不够用了,这个问题是当时在装系统的时候,应该装机人员的失误造成的,具体如下: 这个报错原因就是硬盘资源不够用了,使用命令:df -h,看了下系统的硬盘使用情况: 我们可以看到,挂载到root下面的硬盘大小只有10G,这远远是不够的,阅读全文
posted @ 2018-01-20 15:56 我心自在 阅读(82) 评论(0) 编辑
摘要: 解决:java.io.IOException: No FileSystem for scheme: hdfs 开发项目初期,写完代码开始放到服务器上开始测试的时候,报出这样的一个错,不知道怎么处理了,尝试了重新配置HDFS的Configuration,也不行,无奈之下,只好查看源代码,分析错误是从哪阅读全文
posted @ 2018-01-18 15:17 我心自在 阅读(27) 评论(0) 编辑
摘要: 项目背景 某银行的影像平台由于使用时间长,服务器等配置原因,老影像系统满足不了现在日益增长的数据量的需求,所以急需要升级改造。传统的影像平台使用的是Oracle数据库和简单的架构来存储数据(视频、图片等),所以很难满足现在的业务需求,其中最主要的就是存储下载等速度的影响,综合考虑之后,我们给出了升级阅读全文
posted @ 2018-01-11 22:42 我心自在 阅读(730) 评论(0) 编辑
摘要: 项目背景: 在这次影像系统中,我们利用大数据平台做的是文件(图片、视频等)批次的增删改查,每个批次都包含多个文件,上传完成以后要添加文件索引(文件信息及批次信息),由于在Hbase存储的过程中,每个文件都对应一个文件rowKey,一个批次就会有很多个RoweKey,查询的下载的时候就必须根据每个文件阅读全文
posted @ 2018-01-08 14:29 我心自在 阅读(464) 评论(0) 编辑