2018年10月
HADOOP学习笔记（三）：hive
摘要： Hive 简介 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 阅读全文
posted @ 2018-10-11 14:37 gloomysun 阅读(306) 评论(0) 推荐(0)
2018年9月
sqoop从mysql导入hive的一些问题
摘要： 1.错误：Sqoop:Import failed: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf 解决方法： 在/etc/profile中添加下面一行 export HADOOP_CLASSPATH=$H 阅读全文
posted @ 2018-09-23 01:49 gloomysun 阅读(840) 评论(0) 推荐(0)
HADOOP学习笔记（二）：mapreduce
摘要： 前言 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 MapReduce进程 一个完整的mapreduce 阅读全文
posted @ 2018-09-14 13:59 gloomysun 阅读(252) 评论(0) 推荐(0)
HADOOP学习笔记（一）：HDFS
摘要： 前言 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 HDFS架构 NameNode 是整个 阅读全文
posted @ 2018-09-14 10:35 gloomysun 阅读(181) 评论(0) 推荐(0)
REST framework组件-分页
摘要： 待补 阅读全文
posted @ 2018-09-08 21:13 gloomysun 阅读(89) 评论(0) 推荐(0)
REST framework组件-认证、权限、限制
摘要： 认证 定义user表和token表 定义一个登录视图 定义一个认证类 视图级别认证 全局级别认证 权限 自定义一个权限类 视图级别配置 全局级别设置 限制（待续） 阅读全文
posted @ 2018-09-08 20:59 gloomysun 阅读(236) 评论(0) 推荐(0)
REST framework组件-视图
摘要： mixin类编写视图 使用通用的基于类的视图 viewsets.ModelViewSet url.py: 或者 views.py 阅读全文
posted @ 2018-09-02 13:41 gloomysun 阅读(107) 评论(0) 推荐(0)
2018年8月
REST framework组件-序列化
摘要： 我们可以看到当我们拿到book_list后，有很多种方式来进行序列化，这里我们使用的是rest_framwork带的serializers来进行的序列化，在返回时我们也用到了rest_framwork的Response rest-freamework为我们提供了ModelSerializer类来简化 阅读全文
posted @ 2018-08-31 01:14 gloomysun 阅读(178) 评论(0) 推荐(0)
axios 传参后台获取不到的问题
摘要： axios 传参默认Content-Type=application/json，导致后台接收参数失败 get post axios自带Qs,无需再安装 let values={email: "**", password: "**", remember: true} axios({ method: ' 阅读全文
posted @ 2018-08-08 13:23 gloomysun 阅读(354) 评论(0) 推荐(0)
2018年5月
openfire(一)：使用idea编译openfire4.2.3源码
摘要： 最近公司项目要使用openfire，并对源码做一些修改，使用的openfire版本为官网目前最新版本4.2.3，网上资料较少，踩了很多坑，特此记录。 1.下载源码 http://www.igniterealtime.org/downloads/source.jsp 2.使用idea导入源码 File 阅读全文
posted @ 2018-05-02 15:30 gloomysun 阅读(1213) 评论(0) 推荐(0)