摘要：
linux命令 1：ls命令 这是一个非常有用的查看文件与目录的命令，list之意，它的参数非常多，下面就列出一些我常用的参数吧，如下：-l ：列出长数据串，包含文件的属性与权限数据等-a ：列出全部的文件，连同隐藏文件（开头为.的文件）一起列出来（常用）-d ：仅列出目录本身，而不是列出目录的文件 阅读全文
摘要：
视图，虚拟表，从一个表或多个表中导出来的表，作用和真实表一样，包含一系列带有行和列的数据 视图中，用户可以使用SELECT语句查询数据，也可以使用INSERT，UPDATE，DELETE修改记录，视图可以使用户操作方便，并保障数据库系统安全 优点 简单化，数据所见即所得 安全性，用户只能查询或修改他 阅读全文
摘要：
1.1 项目名称 xxx 用户画像及其应用. 1.2 项目背景及概要 在互联网逐步步入大数据时代后，不可避免的给企业和用户行为带来一系列 改变与重塑；其中最大的变化莫过于， 用户的一切行为在企业面前是“可视化” 的.随着大数据技术的深入研究与应用，企业的专注点日益聚焦于怎样利用大数 据来为精细化运营 阅读全文
摘要：
Apache Kafka 最早是由Linkedln开源出来的分布式消息系统，现在是Apache旗下的一个子项目。 已经成为开源领域应用最广泛的消息系统之一 社区活跃 标语从“一个高吞吐量、分布式的消息系统” 改为 “一个分布式的流平台” 什么是流（式数据处理）平台？具备三个特点 1：数据流注入 2： 阅读全文
摘要：
下面我就给大家介绍一下十二个各个领域都包含的项目案列 以下项目小编都有搭建与设计视频，有一定大数据基础与工作经验的朋友是可以根据视频内容完成整个项目的搭建的。非常的实用！需要视频的朋友，加入小编的java与大数据交流圈子615997810找群主获取视频学习这些项目的搭建。下面就来给大家介绍一下这十二 阅读全文
摘要：
Resources插件负责处理项目资源文件并拷贝到输出目录。Maven将main resources和test resources分开，一般main resources关联main source code，而test resources关联test source code。 Resources插件目 阅读全文
摘要：
一、Alluxio是什么？ Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。 Alluxio的前身为Tachyon。 二、Alluxio应用场景 Alluxio居于传统大数据 阅读全文
摘要：
前话： order by 等。。 hive 中的 order by 语句会对查询结果做一次全局排序，即，所有的 mapper 产生的结果都会交给一个 reducer 去处理，无论数据量大小，job 任务只会启动一个 reducer，如果数据量巨大，则会耗费大量的时间。 注意：如果在严格模式下，ord 阅读全文
摘要：
Web页面出现一些错误： namenode 出现 missing blocks的解决方案 There are 2 missing blocks. The following files may be corrupted: blk_1078468526 /user/spark/sparkstreami 阅读全文
摘要：
hive在执行查询sql时出现java.lang.IllegalArgumentException: Wrong FS: hdfs://node1:9000/user/hive/warehouse/test1.db/t1, expected: hdfs://cluster1 原因是hadoop由普通 阅读全文