摘要：
阅读全文
摘要：
现在我来讲解一下Redis的安装和配置，那么什么是Redis呢？他的作用是什么呢？ redis是一个key-value存储系统，和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list（链表）、set(集合)、zset(sorted set --有序集合)和 阅读全文
摘要：
上节我们安装了Python，用来从网上爬取数据，那么爬取的数据存放在哪里呢？由于大部分爬取的数据都不规则，在关系型数据库中是没有办法存放的，那么我们就需要一个菲关系学数据库，就是今天需要安装的mongoDB，那么什么是MOngoDB呢？ MongoDB是一个基于分布式文件存储的数据库。由C++语言编 阅读全文
摘要：
今天开始学习Python，用Python的爬虫技术来爬取网上自己需要的数据。闲话不多说，首先我们进行Python的安装。 方法一： 我们可以直接下载Python，但是下载下来后需要我们自己来进行配置pip，还有环境变量，比较麻烦，我们不推荐这种方法 方法二：我们可以下载anaconda，这是Pyth 阅读全文
摘要：
今天在写MapReduce时遇到了这个问题，这个问题的解释是：来自map的键类型不匹配:expected org.apache.hadoop.io文本,收到org.apache.hadoop.io.LongWritable，也就是说从map到reduce的输出格式装换错误，或者没有定义，即使在你的m 阅读全文
摘要：
最近在使用sqoop往hdf上导入数据时，报出下面的错误： 网上找了很多资料，发现有一种可以解决 1. 你得确定你得确定你得sqoop可以连接你的linux上面的mysql数据库 2. 你得配置好sqoop的环境，确保可以连接hdoop, 进入sqoop的安装目录，进入bin目录，运行 Export 阅读全文
摘要：
在上一篇博客中我们讲解了MapReduce的原理以及map和reduce的作用，相信你理解了他们的原理，今天讲解的是mapreduce 的另一个就是倒排索引。 什么是倒排索引呢？倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不 阅读全文
摘要：
最近在学习大数据的一些知识，了解到了MapReduce的用处，下面我先讲解一下MapReduce的作用。 MapReduce其实是分为两种：一是map,而是reduce，MapReduce是Hadoop的重要组件，是分布式计算的框架，是一种编程模型，下面我从wordcount这个算法来解析一下到底什 阅读全文
摘要：
这几天在学大数据的相关技术，老师给了我们一个含有10000条记录的用户浏览日志，日志里面每一行代表一条记录，没条记录包含用户 IP，使用的浏览器，浏览的世界，使用的客户端等等信息，下面是日志的截图。 我们需要做的就是将用户使用的浏览器统计出来，并且统计出来浏览器使用数量。 那么我们需要做的就是将每条 阅读全文
摘要：
最近在IDEA中创建项目，进行大数据数据的统计时，运行报错，包如下的错误： 这个错误可能有两种原因： 1. 该项目中没有这个方法 2. 导入的jar包冲突 我们先看看这个错误 org.slf4j.impl.StaticLoggerBinder.getSingleton()Lorg/slf4j/imp 阅读全文