上一页 1 2 3 4 5 6 ··· 16 下一页
摘要: 一、概述 MySQL全文检索是利用查询关键字和查询列内容之间的相关度进行检索,可以利用全文索引来提高匹配的速度。二、语法 MATCH (col1,col2,...) AGAINST (expr [search_modifier]) search_modifier: { IN BOOLEAN MODE... 阅读全文
posted @ 2015-12-24 15:42 爱开卷360 阅读(37973) 评论(5) 推荐(3) 编辑
摘要: 一、序言 随着TDW的发展,公司在大数据离线分析方面已经具备了行业领先的能力。但是,很多应用场景往往要求在数秒内完成对几亿、几十亿甚至几百上千亿的数据分析,从而达到不影响用户体验的目的。如何能够及时有效的获取分析结果提高工作效率,这是许多分析人员在面对大数据所不得不面临的问题。要满足这样的需求... 阅读全文
posted @ 2015-12-02 10:11 爱开卷360 阅读(1808) 评论(0) 推荐(0) 编辑
摘要: 对微信、陌陌等进行了分析,发出来分享一下(时间有些久了)电量:对于移动设备最大的瓶颈就是电量了。因为用户不可能随时携带电源,充电宝。所以必须考虑到电量问题。那就要检查我们工程是不是有后台运行,心跳包发送时间是不是合理。流量:对于好多国内大部分屌丝用户来说可能还是包月30M,那么我们必须站在广大用户角... 阅读全文
posted @ 2015-07-17 15:03 爱开卷360 阅读(13354) 评论(0) 推荐(1) 编辑
摘要: 作者:孔凡勇现在几乎任何一个网站、Web App以及移动APP等应用都需要有图片展示的功能,对于图片功能从下至上都是很重要的。必须要具有前瞻性的规划好图片服务器,图片的上传和下载速度至关重要,当然这并不是说一上来就搞很NB的架构,至少具备一定扩展性和稳定性。虽然各种架构设计都有,在这里我只是谈谈我的... 阅读全文
posted @ 2015-05-11 11:27 爱开卷360 阅读(962) 评论(0) 推荐(0) 编辑
摘要: 最近做一个Web网站,之前一直觉得bootstrap非常好,这次使用了bootstrap3,在chrome,firefox,safari,opera,360浏览器(极速模式)、搜狗浏览器等浏览器下均没有问题,而在IE8及IE11下发现样式无法显示,然后各种百度啊,最后在 雅朋网 的一个网友帖子的帮助... 阅读全文
posted @ 2015-02-04 11:12 爱开卷360 阅读(850) 评论(0) 推荐(0) 编辑
摘要: Hadoop在运行一个mapreduce job之前,需要估算这个job的maptask数和reducetask数。首先分析一下job的maptask数,当一个job提交时,jobclient首先分析job被拆分的split数量,然后吧job.split文件放置在HDFS中,一个job的MapTas... 阅读全文
posted @ 2014-12-02 15:33 爱开卷360 阅读(1034) 评论(0) 推荐(0) 编辑
摘要: 测试启动 按照下面的每一步执行,执行完一定要看输出的信息,注意warn或error或fatal的情况。因为这都是可能是问题出现的地方。出现一个问题,不解决,可能就会影响接下来的测试。这才是真正的工作量。1、启动zookeeper 在hadoop1、hadoop2、hadoop3、hadoop4、ha... 阅读全文
posted @ 2014-12-01 16:42 爱开卷360 阅读(698) 评论(0) 推荐(0) 编辑
摘要: 前言 本文主要通过对hadoop2.2.0集群配置的过程加以梳理,所有的步骤都是通过自己实际测试。文档的结构也是根据自己的实际情况而定,同时也会加入自己在实际过程遇到的问题。搭建环境过程不重要,重要点在于搭建过程中遇到的问题,解决问题的过程。 可能自己遇到的问题在一些由经验的老者手上都不是问题,但是... 阅读全文
posted @ 2014-12-01 16:32 爱开卷360 阅读(2689) 评论(0) 推荐(0) 编辑
摘要: 在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据。一转眼一两个月过去了,有些东西对已经忘了。现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了。开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下。 在很多博客中有关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里。有的时候需要结合几篇文档去搭建平台。在这篇博客汇总会把我们遇到的问题,以及搭建过程中发生的一些事情总结一下。有关于hadoop具体的安装过程和配置相应的文件,我们后续也会给出来。 如果你决定花点时间去读这篇文章了,请大家仔细读一下,因为每一个点,我们都在上面耽误了一些时间,梳理一下,大家如果遇到相应的问题,也算给大家提供了一个解决方案。 阅读全文
posted @ 2014-12-01 16:22 爱开卷360 阅读(745) 评论(0) 推荐(0) 编辑
摘要: 2011年小规模试水这一阶段的主要工作是建立了一个小的集群,并导入了少量用户进行测试。为了满足用户的需求,我们还调研了任务调度系统和数据交换系统。我们使用的版本是当时最新的稳定版,Hadoop 0.20.203和Hive 0.7.1。此后经历过多次升级与Bugfix。现在使用的是Hadoop 1.0.3+自有Patch与Hive 0.9+自有Patch。考虑到人手不足及自己的Patch不多等问题,我们采取的策略是,以Apache的稳定版本为基础,尽量将自己的修改提交到社区,并且应用这些还没有被接受的Patch。因为现在Hadoop生态圈中还没有出现一个类似Red Hat地位的公司,我们也不希望 阅读全文
posted @ 2014-03-25 17:44 爱开卷360 阅读(1780) 评论(1) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 16 下一页