摘要: 安装当前最新版本的nexus,安装教程网上搜,不多说了。 因为nexus3x版本没有2x版本中内置的3rd_part,所以不能在界面中上传jar包,必须使用maven的命令行。 添加第三方仓库,名字叫3rd_part 添加到maven-public组中 添加一个开发用户:用户名deployment, 阅读全文
posted @ 2019-03-01 17:52 大嗯呐丶 阅读(467) 评论(0) 推荐(0) 编辑
摘要: 1 配置并启动 1.1 创建并配置hive-site.xml 在运行Spark SQL CLI中需要使用到Hive Metastore,故需要在Spark中添加其uris。具体方法是将HIVE_CONF/hive-site.xml复制到SPARK_CONF目录下,然后在该配置文件中,添加hive.m 阅读全文
posted @ 2018-09-29 15:00 大嗯呐丶 阅读(3262) 评论(1) 推荐(0) 编辑
摘要: 1 使用单机local模式提交任务 local模式也就是本地模式,也就是在本地机器上单机执行程序。使用这个模式的话,并不需要启动Hadoop集群,也不需要启动Spark集群,只要有一台机器上安装了JDK、Scala、Spark即可运行。 进入到Spark2.1.1的安装目录,命令是: 执行命令,用单 阅读全文
posted @ 2018-09-28 14:57 大嗯呐丶 阅读(1963) 评论(0) 推荐(0) 编辑
摘要: Hive是什么1)Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据;4)允许用Java开发自 阅读全文
posted @ 2018-09-28 13:53 大嗯呐丶 阅读(787) 评论(0) 推荐(0) 编辑
摘要: Hive的几种常见的数据导入方式这里介绍四种:(1)、从本地文件系统中导入数据到Hive表;(2)、从HDFS上导入数据到Hive表;(3)、从别的表中查询出相应的数据并导入到Hive表中;(4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 一、从本地文件系统中导入数据到Hi 阅读全文
posted @ 2018-09-28 11:35 大嗯呐丶 阅读(5151) 评论(0) 推荐(0) 编辑
摘要: 1 wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.2.4-1.x86_64.rpm2 sudo yum localinstall grafana-4.2.0-1.x86_64.rpm3 syste 阅读全文
posted @ 2018-09-27 16:50 大嗯呐丶 阅读(217) 评论(0) 推荐(0) 编辑
摘要: 事情发生在我刚安装好了linux的mysql机器上,当我登录mysq时.出现如图情况. 一脸懵逼中.... 经过一番google... 只需要做一个软连接到/tmp/mysql.sock上就好了....于是... 告辞.... 阅读全文
posted @ 2018-09-27 16:08 大嗯呐丶 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 1:下载 [root@localhost soft]# wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz 2:解压文件 [root@dbserver /]# tar - 阅读全文
posted @ 2018-09-27 15:36 大嗯呐丶 阅读(768) 评论(0) 推荐(0) 编辑
摘要: 当我们在不通过yum(CentOS)、apt-get(Ubuntu)来安装MySQL的时候,通常执行以下命令来改变目录的拥有者: [root@localhost ~]# chown -R mysql:mysql ./ 这两个mysql谁是用户名谁是用户组呢?见chown详解。 chown将指定文件的 阅读全文
posted @ 2018-09-27 11:30 大嗯呐丶 阅读(107002) 评论(0) 推荐(1) 编辑
摘要: 一 、需要知道的内容 1.ResourceManager >yarn的老大 2.NodeManager >yarn的小弟 3.ResourceManager调度器 a.默认调度器 >先进先出FIFO b.公平调度器 >每个任务都有执行的机会...... 4.心跳机制 >NodeManager可通过心 阅读全文
posted @ 2018-09-26 16:34 大嗯呐丶 阅读(1580) 评论(0) 推荐(0) 编辑