摘要: 之前,在 github 上开源了 ambari Kylin 项目,可离线部署,支持 hdp 2.6+ 及 hdp 3.0+ 。github 地址为:https://github.com/841809077/ambari Kylin ,欢迎 star 。 这段时间,陆续有不少朋友通过公众号联系到我,问 阅读全文
posted @ 2019-12-18 15:37 CREATE_17 阅读(1615) 评论(6) 推荐(2) 编辑
摘要: 多线程一直是工作或面试过程中的高频知识点,今天给大家分享一下使用 ThreadPoolTaskExecutor 来自定义线程池和实现异步调用多线程。 一、ThreadPoolTaskExecutor 本文采用 Executors 的工厂方法进行配置。 1、将线程池用到的参数定义到配置文件中 在项目的 阅读全文
posted @ 2019-10-14 00:35 CREATE_17 阅读(5748) 评论(0) 推荐(1) 编辑
摘要: 一、定时任务触发条件 1、在 Application 启动类上添加:@EnableScheduling 2、含定时方法的类上添加注解:@Component,该注解将定时任务类纳入 spring bean 管理。 3、在定时方法上写上:@Scheduled(cron = "0 0/1 ?"),该 cr 阅读全文
posted @ 2019-10-09 01:19 CREATE_17 阅读(705) 评论(0) 推荐(0) 编辑
摘要: 系统环境 操作系统:CentOS 6 或 CentOS 7 JDK 版本:1.8.0_151 Ambari 版本:2.6.1 HDP 版本:2.6.4.0 扩展链接 "Kerberos原理 经典对话" "基于ambari的Kerberos安装配置" "Windows本地安装配置Kerberos客户端 阅读全文
posted @ 2019-09-29 13:10 CREATE_17 阅读(1018) 评论(0) 推荐(0) 编辑
摘要: HDP版本:2.6.4.0 Kylin版本:2.5.1 机器:三台 CentOS 7,8G 内存 Kylin 的计算引擎除了 MapReduce ,还有速度更快的 Spark ,本文就以 Kylin 自带的示例 kylin_sales_cube 来测试一下 Spark 构建 Cube 的速度。 一、 阅读全文
posted @ 2019-09-24 23:35 CREATE_17 阅读(1467) 评论(1) 推荐(0) 编辑
摘要: 前言: 今天接手了同事之前做的一个小项目,里面涉及到了 FastDFS 的使用。但是当我在本地运行项目的时候,却报了 Could not autowire No beans of 'FastDFS Client' type found 相关的错误。 接下来就详细描述一下 FastDFS 报错的解决方 阅读全文
posted @ 2019-09-24 23:22 CREATE_17 阅读(688) 评论(0) 推荐(0) 编辑
摘要: # coding=utf-8 """根据搜索词下载百度图片""" import re import urllib import os def get_onepage_urls(onepageurl): """获取单个翻页的所有图片的urls+当前翻页的下一翻页的url""" try: page = urllib.urlopen(onepageurl) # ... 阅读全文
posted @ 2018-01-26 14:16 CREATE_17 阅读(717) 评论(0) 推荐(0) 编辑
摘要: 1. 首先通过urllib获取网页的源码 2. 获取下一页的url链接,当本页的图片链接获取完毕,再继续获取下一页的。使用Python正则表达式匹配需要的字段 3. 获取每一页的图片链接,将之放入一个总的数组,最后通过链接下载图片 4. 下载图片。使用urllib.urlretrieve()方法,直 阅读全文
posted @ 2018-01-26 13:55 CREATE_17 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 学习HDFS有一段时间了,现在把自己总结的HDFS的相关操作代码展示给大家。 主要有HDFS的增删改查,文件的追加,windows本地文件的上传,hdfs文件的下载,文件重命名,创建目录,文件是否存在等操作。 准备工作:我是用maven搭配的环境,下面用到了单元测试@Test,需要在pom.xml文 阅读全文
posted @ 2017-11-13 09:09 CREATE_17 阅读(4447) 评论(0) 推荐(0) 编辑
摘要: 在Java中,以下三个类经常用于处理数据流,下面介绍一下三个类的不同之处以及各自的用法。 InputStream : 是所有字节输入流的超类,一般使用它的子类:FileInputStream等,它能输出字节流; InputStreamReader : 是字节流与字符流之间的桥梁,能将字节流输出为字符 阅读全文
posted @ 2017-07-26 18:43 CREATE_17 阅读(197) 评论(0) 推荐(0) 编辑