03 2019 档案

bat脚本,winscp,shell加mysql存储过程实现mysql单条数据迁移
摘要：起因 公司有个任务，需要迁移mysql中的单条数据。从公司的dev环境到staging环境，dev环境的mysql安装在windows server 2012 R2下，stage是aws的服务器不能直接访问，需要通过一个getway服务器跳转。 阅读全文
posted @ 2019-03-29 17:11 火火火火四火 阅读(308) 评论(0) 推荐(0)
Ambari搭建hadoop错误记录
摘要：1.ResourceManager启动失败 错误如下 2019 03 24 19:57:00,607 Error while executing command 'start': Traceback (most recent call last): File "/usr/lib/python2.6/ 阅读全文
posted @ 2019-03-25 11:09 火火火火四火 阅读(531) 评论(0) 推荐(0)
SSIS平台下的对象和概念
摘要：+ 包即经检索、执行和保存的工作单元，是最重要的 Integration Services 对象。 + 控制流元素（任务和容器），用于在包中生成控制流。控制流元素准备或复制数据，与其他进程进行交互，或实现重复工作流。优先约束将控制流元素按照一定的顺序组成一个有序的控制流，并指定执行任务或容器的条件。 阅读全文
posted @ 2019-03-10 14:13 火火火火四火 阅读(456) 评论(0) 推荐(0)
数据仓库逻辑区域及各区域的功能和特点
摘要：结合我实际工作中的数据仓库逻辑区域划分 客户提供的txt文件为source 数据库中raw，cvt表为staging fact表和dimension表为ODS(Operational Data Store) MSOLAP中建立好的cube和dimension以后为BaseLine或者DataMart 阅读全文
posted @ 2019-03-09 22:27 火火火火四火 阅读(1004) 评论(0) 推荐(0)
hive错误排查一：hive中执行 drop table命令卡住，删除表不成功
摘要：起因 公司用的AWS EMR上的hive，突然不能删除表了。 经过 分析来看，估计是元数据那块出了问题。从元数据入手，元数据存在mysql的hive数据库中 直接使用hive配置文件hive site.xml中的用户名密码访问mysql数据库 ERROR 1045 (28000): Access d 阅读全文
posted @ 2019-03-09 15:50 火火火火四火 阅读(4475) 评论(1) 推荐(0)
单例模式的两种简单实现方法
摘要：单例模式的根本是保证对象唯一性 1.不让其他程序创建该类对象。 2.在本类中创建一个本类对象。 3.对外提供方法，让其他程序获取这个对象。 饿汉式 懒汉式（线程安全） 普通的懒汉式存在线程安全问题 阅读全文
posted @ 2019-03-07 16:51 火火火火四火 阅读(363) 评论(0) 推荐(0)
Jenkins中Publish Over SSH插件使用
摘要：Publish Over SSH插件安装 进入插件管理安装插件，我这里已经安装过了所以在installed里面，没安装过去available里面搜索。 系统设置中配置Publish Over SSH 首先需要机器之间能ssh通信，然后按照下图进行配置,我这里是通过密码。如果是ssh key的文件就配 阅读全文
posted @ 2019-03-06 17:07 火火火火四火 阅读(596) 评论(0) 推荐(0)
jenkins里面使用shell 获取jira的sprint信息
摘要：需求 项目需要在jenkins自动发布中加入version.html来跟踪项目发布的版本信息，需要获取到jira中当前sprint的名字，和一个sprint中的发布次数（我这里用文件把次数存起来的傻方法来计数的）。 shell初学者脚本写的很烂，还望大神们指教。 ！ 方法 直接使用curl 向jir 阅读全文
posted @ 2019-03-06 16:11 火火火火四火 阅读(780) 评论(0) 推荐(0)