BBBone

2019年6月24日

摘要：官网地址:https://azkaban.readthedocs.ioAzkaban 有三种部署方式：单服务模式、2个服务模式、分布式多服务模式简单实用仅需单服务模式即可2个服务模式,需要配置mysql, Azkaban使用MySQL来存储项目和执行它具有如下功能特点：1、Web用户界面2、方便上传工作流3、方便设置任务之间的关系4、工作流调度5、认证/授权6、能够杀死并重启工作流7、模块化和可... 阅读全文

posted @ 2019-06-24 10:41 BBBone 阅读(615) 评论(0) 推荐(0)

Spark的Monitoring

摘要：一、启动历史页面监控配置:$ vi spark-defaults.confspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop000:8020/g6_directory$ vi spark-env.shSPARK_HISTORY_OPTS="-Dspark.history.fs.log... 阅读全文

posted @ 2019-06-24 10:38 BBBone 阅读(313) 评论(0) 推荐(0)

2019年6月20日

HBase安装学习

摘要：一、下载安装$ wget http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz$ tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz -C ~/apps$ cd ~/apps/hbase-1.2.0-cdh5.7.0二、配置文件$ vi conf/hbase-site.xml hbas... 阅读全文

posted @ 2019-06-20 03:31 BBBone 阅读(216) 评论(0) 推荐(0)

2019年6月19日

Zeppelie连接jdbc的使用

摘要： 1. 下载 wget http://apache.mirror.cdnetworks.com/zeppelin/zeppelin-0.8.1/zeppelin-0.8.1-bin-all.tgz2. 解压 tar -zxvf zeppelin-0.8.1-bin-all.tgz -C ~/app/3. 启动/关闭 ./bin/zeppelin-daemon.sh start/start4. 查看状... 阅读全文

posted @ 2019-06-19 11:52 BBBone 阅读(302) 评论(0) 推荐(0)

2019年5月15日

REST API接口测试

摘要：背景介绍为什么要做借口测试?很多系统关联都是基于接口来实现的,接口测试可以将复杂的系统关联进行简化.接口功能比较单一,能够比较好的进行测试覆盖,也相对容易实现自动化持续集成.接口相当于界面功能,会更底层一些,测试覆盖会更容易.软件开发生命周期?接口测试在单口测试后,UI测试之后接口测试可以获得较高的投资回报(接口测试比单元测试的粒度要粗一些)什么是接口测试? (什么是接口: 电梯、开车刹车、搜索引... 阅读全文

posted @ 2019-05-15 01:23 BBBone 阅读(4113) 评论(0) 推荐(0)

REST API的使用

摘要：需求描述GET: http://localhost:8080/MyWebsite/user/ Header: Content-Type = application/json Body: 空 Response: 返回所有User对象 Status code: 200GET: http://localhost:8080/MyWebsite/user/{id} Header... 阅读全文

posted @ 2019-05-15 01:21 BBBone 阅读(706) 评论(0) 推荐(0)

shell调试

摘要： shell脚本——调试（-n / -x / + / ++ ）-n 只读取shell脚本，但不实际执行 "-n"可用于测试shell脚本是否存在语法错误，但不会实际执行命令。-x 进入跟踪方式，显示所执行的每一条命令 "-x"选项可用来跟踪脚本的执行，是调试shell脚本的强有力工具。 -v 显示所有行，详细模式sh -n file.sh# 检查脚本中的语法错误,并显示行号expo... 阅读全文

posted @ 2019-05-15 01:14 BBBone 阅读(6647) 评论(0) 推荐(0)

shell中的fg 命令

摘要： fg(前台执行) frontgroundbg(后台执行) background & daemon总结：一般命令在前台执行（fg），执行完毕后，控制返回给用户。在命令后面加上&，它会在后台执行（bg），并将特殊的环境变量$!设置为该任务的进程ID。这时shell可以并发执行其他命令。按Ctrl+z可以挂起前台运行的程序挂起的程序可以用fg恢复到前台，或者用bg恢复到后台后台程序试图写入数据到... 阅读全文

posted @ 2019-05-15 01:14 BBBone 阅读(2231) 评论(0) 推荐(0)

CDH预警配置QQ邮箱

摘要：一、在QQ邮箱中开启POP二、关闭主机的sendmail,开启postfix(本机若没有两个服务,就需要先安装)本地安装sendmail和postfix[root@Slave1 ~]## yum -y install sendmail# yum -y install postfix//sendmail# service sendmial stop# chkconfig sendmail o... 阅读全文

posted @ 2019-05-15 01:07 BBBone 阅读(303) 评论(0) 推荐(0)

hive的metatable学习

摘要：一、存储Hive版本的元数据表（VERSION）二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）DBS --存储Hive中所有数据库的基本信息DATABASE_PARAMS --该表存储数据库的相关参数,在CREATE DATABASE时候用WITH DBPROPERTIES (property_name=property_value, …)指定的参数。... 阅读全文

posted @ 2019-05-15 01:04 BBBone 阅读(621) 评论(0) 推荐(0)

公告