李秋 - 博客园

2015年10月12日

摘要：一、前言公司实用Hadoop构建数据仓库，期间不可避免的实用HiveSql，在Etl过程中，速度成了避无可避的问题。本人有过几个数据表关联跑1个小时的经历，你可能觉得无所谓，可是多次Etl就要多个小时，非常浪费时间，所以HiveSql优化不可避免。注：本文只是从sql层面介绍一下日常需要注意的点，不... 阅读全文

posted @ 2015-10-12 23:19 李秋阅读(15559) 评论(0) 推荐(1)

2015年10月11日

数据集市层——论为什么随着技术分析的深入，决策数据报表问题越来越多

摘要：一、前言当前大数据概念特别流行，其中根据数据做决策，根据数据做分析已经成为每个公司必备的能力。二、数据抽取随之组建数据技术团队也顺理成章的事情，数据团队从业务数据库抽取数据到自己的分析数据库，这个过程称之为：数据抽取，原因如下：三、自然演化体系结构随着需求的不断增加，对抽取的要求越来越多，阅读全文

posted @ 2015-10-11 18:43 李秋阅读(2337) 评论(0) 推荐(0)

2015年9月22日

Spark和hadoop的关系

摘要： 1、 Spark VSHadoop有哪些异同点？ Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘和数据分析。 Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还... 阅读全文

posted @ 2015-09-22 13:59 李秋阅读(7203) 评论(0) 推荐(0)

2015年9月21日

在线程池使用Callable和Runnable的区别以及如何关闭线程

摘要：一、区别总结：Callable定义的方法是call，而Runnable定义的方法是run。Callable的call方法可以有返回值，而Runnable的run方法不能有返回值，这是核心区别。Callable的call方法可抛出异常，而Runnable的run方法不能抛出异常。二、返回值的区别他们... 阅读全文

posted @ 2015-09-21 22:28 李秋阅读(9436) 评论(0) 推荐(0)

2015年7月26日

Hadoop学习笔记（老版本，YARN之前），MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系

摘要：一、基本概念在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。在分布式存储和分布式计算方... 阅读全文

posted @ 2015-07-26 13:56 李秋阅读(998) 评论(0) 推荐(0)

2015年7月3日

java&postgresql时区总结

摘要：介绍这篇文章之前，首先回答一个问题，以前都没有时区的概念，程序也写的好好的，为什么要计算时区哪？举个例子，比如有一个订单的时间是：2015-07-04 11:28:19，那么咋一看没什么问题，可是如果这个订单的时间让美国的人看，就没有意义了，因为他们不知道对应美国的时间到底是几点，可能是上午，也可能... 阅读全文

posted @ 2015-07-03 22:33 李秋阅读(3923) 评论(0) 推荐(0)

2015年6月21日

深入浅出 nginx lua 为什么高性能

摘要：最近很多人问我nginx lua的优势是什么？为什么？一、同步和异步、阻塞和非阻塞如果要说清楚这个问题首先要了解：同步和异步、阻塞和非阻塞的关系同步：php、java的正常代码都是同步执行的异步：javascript的回调函数就是异步的说白了自己写的程序里面如果没有回调函数都是同步的，常见的php、... 阅读全文

posted @ 2015-06-21 13:48 李秋阅读(7417) 评论(1) 推荐(0)

2015年6月9日

添加JavaDoc

摘要：使用javadoc比较容易生成文档，命令如下：javadoc -d doc -sourcepath src/main/java/ -subpackages com -encoding UTF-8 -charset UTF-8这样就能生成doc文档了阅读全文

posted @ 2015-06-09 22:38 李秋阅读(443) 评论(0) 推荐(0)

2015年5月16日

Spring导出可以运行的jar包

摘要：最近需要解决Maven项目导入可执行的jar包的问题，如果项目不包含Spring，那么使用mvn assembly:assembly即可，详情可以参考：http://www.cnblogs.com/liqiu/p/3816068.html可是如果包含Spring，那么这么方法就不可行，报错：Conf... 阅读全文

posted @ 2015-05-16 22:48 李秋阅读(1548) 评论(0) 推荐(0)

sed 多行处理详细总结

摘要：在正常情况下，sed将待处理的行读入模式空间，脚本中的命令就一条接着一条的对该行进行处理，直到脚本执行完毕，然后该行被输出，模式空间请空；然后重复刚才的动作，文件中的新的一行被读入，直到文件处理完备。但是，各种各样的原因，比如用户希望在某个条件下脚本中的某个命令被执行，或者希望模式空间得到保留以便下... 阅读全文

posted @ 2015-05-16 14:05 李秋阅读(9879) 评论(0) 推荐(0)

Shell获取某目录下所有文件夹的名称

摘要：查看目录下面的所有文件：#!/bin/bashcd /目标目录for file in $(ls *)do echo $filedone延伸的方法，查看目录下面的所有目录#!/bin/bashcd /export/bak/original_documentfor dir in $(ls spli... 阅读全文

posted @ 2015-05-16 12:53 李秋阅读(14061) 评论(0) 推荐(0)

2015年5月15日

linux 删除换行符

摘要：今天需要删除文件里面的换行符，比如有一个文件a.txt：1,2,34,5,61,2,34,5,61,2,34,5,61,2,34,5,61,2,34,5,61、使用vim删除换行符vim输入命令：%s/\n//g2、使用sed命令，例如 sed ':t;N;s/\n//;b t' a.txt结果：1... 阅读全文

posted @ 2015-05-15 17:39 李秋阅读(18772) 评论(1) 推荐(2)

linux 切分文件

摘要： linux经常需要处理文件，如果文件比较大，那么需要切分成为若干的小文件再处理。命令：split比如有一个文件：ll -h 1431531915758 -rw-r--r-- 1 ticketdev ticketdev 9.1G May 15 12:18 14315319157589.1个G的大小，如... 阅读全文

posted @ 2015-05-15 13:16 李秋阅读(1415) 评论(0) 推荐(0)

2015年5月14日

jdbctemplate 获取数据表结构的方法&注意事项

摘要：方法一直接查询：SqlRowSet srcSqlRowSet = srcJdbcTemplate.queryForRowSet("SELECT * FROM tablename LIMIT 0"); //注意limit 0更合适List columneMetaList = new LinkedLi... 阅读全文

posted @ 2015-05-14 12:11 李秋阅读(7056) 评论(0) 推荐(0)

2015年5月12日

linux 使用ifstat查看网络使用情况

摘要：首先安装ifstatwget http://distfiles.macports.org/ifstat/ifstat-1.1.tar.gztar xzvf ifstat-1.1.tar.gzcd ifstat-1.1./configuremakesudo make install然后查看#ifsta... 阅读全文

posted @ 2015-05-12 15:46 李秋阅读(5481) 评论(0) 推荐(0)

2015年5月7日

postgresql 函数获取多个字段的数字大小值

摘要： 1、GREATEST(n1,n2,n3,..........) 获取最大值testdb=#SELECT GREATEST(3,5,1,8,33,99,34,55,67,43); +---------------------------------------------------------+ |... 阅读全文

posted @ 2015-05-07 10:18 李秋阅读(6762) 评论(0) 推荐(0)

vim 正则替换功能

摘要：最近使用vim的正则替换功能，非常强大一个文件：1,2,34,5,61,2,34,5,61,2,34,5,61,2,34,5,61,2,34,5,6现在需要删除逗号前面的内容，那么在vim敲入命令：:%s/.*,//g得到的结果是： 3 6 3 6 3 6 3 6 3 ... 阅读全文

posted @ 2015-05-07 10:11 李秋阅读(557) 评论(0) 推荐(0)

2015年3月29日

jstl 格式化

摘要：一：JSTL格式化标签又称为I18N标签库，主要用来编写国际化的WEB应用，使用此功能可以对一个特定的语言请求做出合适的处理。例如：中国内地用户将显示简体中文，台湾地区则显示繁体中文，使用I18N格式化标签库还可以格式化数字和日期，例如同一数字或日趋，在不同国家可能有不同的格式，使用I18N格式标签... 阅读全文

posted @ 2015-03-29 11:15 李秋阅读(402) 评论(0) 推荐(0)

JSTL标签使用总结，foreach

摘要：最近开发一个网站，经常使用JSTL，这种语法与以前的不同，开始用着非常吃力，今天总结一下，供大家参考。一、前言JSTL全名为JavaServer Pages Standard Tag Library，JSTL是由JCP(Java Community Process)所制定的标准规范，它主要提供给Ja... 阅读全文

posted @ 2015-03-29 11:13 李秋阅读(6974) 评论(0) 推荐(0)

2015年3月28日

hive行转列

摘要：一、问题hive如何将a 1,2,3b 4,7c 5转化成为：a 1a 2a 3b 4b 7c 5二、原始数据cat row_column.txta 1,2,3b 4,... 阅读全文

posted @ 2015-03-28 15:29 李秋阅读(2944) 评论(0) 推荐(0)

hive列转行

摘要：一、问题hive如何将a b 1a b 2a b 3c d 4c d 5c d 6变为：a b 1,2,3c d ... 阅读全文

posted @ 2015-03-28 14:56 李秋阅读(855) 评论(0) 推荐(0)

2015年3月14日

jsp使用c:forEach报错 javax.servlet.jsp.PageContext.getELContext()Ljavax/el/ELContext的问题

摘要：今天发现了一个折磨我一天的问题：在jsp文件中使用一直报错：[ERROR] 2013-12-09 15:03:20,740 method:org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:25... 阅读全文

posted @ 2015-03-14 19:42 李秋阅读(1659) 评论(1) 推荐(0)

2015年3月13日

bug Spring Mvc中Jsp页面获取不到Controller中的变量

摘要：今天遇到了一个奇怪的问题：jsp代码如下：数据对比${name}在controller里面，有赋值： @RequestMapping(value = "/index.do") public String index(ModelMap modelMap) { modelMap... 阅读全文

posted @ 2015-03-13 16:28 李秋阅读(588) 评论(0) 推荐(0)

2015年3月3日

手机号码归属地查询

摘要：最近需要完善一个手机号码归属地查询的功能，比如：1590120，是北京地区动感地带卡，那么其他的手机号码归属地是哪里哪？一、建立数据表我找到了一份对应关系表，表结构：CREATE TABLE mobile_info( id int(10) NOT NULL, mobile_number char... 阅读全文

posted @ 2015-03-03 15:06 李秋阅读(477) 评论(0) 推荐(0)

2015年2月10日

postgresql ltree类型

摘要：最近一个月使用Postgresql的时候，经常遇到ltree的数据，感觉有些别扭，可是有绕不过去。今天决心整理一下，以后使用方便一些。一、简介 ltree是Postgresql的一个扩展类型，由两位国外PostgreSQL贡献者共同开发。网址如下：http://www.sai.msu.su/~me... 阅读全文

posted @ 2015-02-10 12:54 李秋阅读(5580) 评论(2) 推荐(1)

(98)Address already in use: make_sock: could not bind to address 80 [resolved] (2012-10-11 09:04)

摘要：以前遇到一个问题：sudo /etc/init.d/apache2 start * Starting web server apache2 ... 阅读全文

posted @ 2015-02-10 01:20 李秋阅读(528) 评论(0) 推荐(0)

2015年2月4日

postgresql 窗口函数排序实例

摘要：经常遇到一种应用场景，将部分行的内容进行汇总、比较、排序。比如数据表名称test.test2select num,province from test.test2得到结果：1828;"黑龙江"137;"黑龙江"184;"黑龙江"183;"福建"125;"福建"143;"福建"119;"海南"109;... 阅读全文

posted @ 2015-02-04 23:04 李秋阅读(1194) 评论(0) 推荐(1)

2015年1月27日

spring mvc 链接 postgresql

摘要：上一篇文章已经分享了搭建springmvc：http://www.cnblogs.com/liqiu/p/4252788.html这一篇来链接数据库postgresql1、在pom.xml添加几个依赖 org.postgresql post... 阅读全文

posted @ 2015-01-27 23:46 李秋阅读(3792) 评论(0) 推荐(0)

eclipse:报错信息The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path

摘要： JavaWeb: 报错信息The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path今天建立了一个Javaweb工程，并在eclipse中配置了Web容器Tomcat。JSP页面顶端出现“红... 阅读全文

posted @ 2015-01-27 23:09 李秋阅读(671) 评论(0) 推荐(0)

eclipse里面使用Maven搭建web工程

摘要：一、建立Maven项目使用Eclipse的maven构建一个web项目，以构建SpringMVC项目为例：1.1 选择建立Maven Project选择File -> New -> Other，在New窗口中选择 Maven -> Maven Project。点击newxt1.2 选... 阅读全文

posted @ 2015-01-27 20:06 李秋阅读(3064) 评论(0) 推荐(0)

2015年1月23日

数据仓库英文缩写攻略

摘要：背书随着大数据的到来，经常听到相关的词汇，维度、指标、BI、PV、UV等等，今天整理了这些词汇。 DW DW是Data Warehouse的缩写，即数据仓库。 DW要区别于普通数据库，数据仓库用于支持决策，面向分析型数据处理；而普通数据库主要服务于软件/网站，对于一致性/事物要求较高。 BI BI 阅读全文

posted @ 2015-01-23 10:17 李秋阅读(3791) 评论(0) 推荐(1)

2015年1月9日

hive在命令行消除进度等错误信息

摘要：大家在使用shell脚本调用hive命令的时候，发现hive的中间过程竟然打印到错误输出流里面，这样在查看错误日志的时候，需要过滤这些没用的信息，那么可以使用如下的配置参数。set hive.session.silent=true; （默认是false）例如：hive> select from_or... 阅读全文

posted @ 2015-01-09 11:37 李秋阅读(2509) 评论(1) 推荐(1)

2014年12月22日

vim 在行首行尾添加字符

摘要：在行首添加字符：%s/^/your_word/在行尾添加字符%s/$/your_word/ 阅读全文

posted @ 2014-12-22 19:27 李秋阅读(3596) 评论(0) 推荐(0)

2014年12月17日

docker 打开监听端口

摘要：安装docker的镜像ubuntu，链接：http://www.cnblogs.com/liqiu/p/4162719.html一、登录ubuntu@~ $ docker run -i -t 9bd07e480c5b /bin/bashroot@d411227dd25b:/# 二、安装登录sshro... 阅读全文

posted @ 2014-12-17 22:13 李秋阅读(4865) 评论(0) 推荐(0)

2014年12月16日

docker安装hive笔记

摘要：前两篇文章介绍了docker的基本命令如何安装hadoop那么大家会比较了解docker的基本语法的安装过程。那么咱们今天来一起安装一下hive。安装1、下载gitHub，地址：https://github.com/prasanthj/docker-hive-on-tez。如果背墙了，可以选择下载z... 阅读全文

posted @ 2014-12-16 17:20 李秋阅读(4382) 评论(0) 推荐(0)

2014年12月15日

docker 安装hadoop

摘要：上一篇文章介绍了一些docker的基本命令，这篇文章来安装一个HADOOP一、下载hadoop镜像@~/git/github/docker-ambari (master)$ docker pull sequenceiq/hadoop-docker:2.6.0Pulling repository se... 阅读全文

posted @ 2014-12-15 11:10 李秋阅读(3438) 评论(0) 推荐(1)

2014年12月14日

docker使用笔记

摘要：最近听说docker很火，这两天学习了一下。本人实用的是mac os操作系统。有关什么是docker、docker的好处以及安装，请参考：http://tech.uc.cn/?p=2726一、基本命令1、安装ubuntu虚拟机docker pull ubuntu2、查看镜像@~ $ docker i... 阅读全文

posted @ 2014-12-14 16:56 李秋阅读(3707) 评论(0) 推荐(1)

2014年12月9日

hive 字段名称显示

摘要：首先查看一个sql1、首先存在一个数据表tmpCREATE TABLE tmp( platform string, channel string, chan_value string, uid string, host int, logtime string, bd_so... 阅读全文

posted @ 2014-12-09 21:12 李秋阅读(4606) 评论(0) 推荐(0)

2014年11月30日

Hbase 命令小结

摘要： 1、创建test，如果存在先删除hbase(main):010:0> disable 'test'0 row(s) in 1.4250 secondshbase(main):011:0> drop 'test'0 row(s) in 0.5540 secondshbase(main):012:0> ... 阅读全文

posted @ 2014-11-30 14:09 李秋阅读(372) 评论(0) 推荐(0)

2014年11月28日

shell while内获取外部变量内容

摘要：一、问题问题很简单，看下面一段tmp.sh代码：#!/bin/shx="this is the initial value of x"cat /tmp/tmp | while read line;do x="$line" echo $xdoneecho x = $x/tm... 阅读全文

posted @ 2014-11-28 16:10 李秋阅读(2788) 评论(0) 推荐(1)