摘要： 之前，在 github 上开源了 ambari Kylin 项目，可离线部署，支持 hdp 2.6+ 及 hdp 3.0+ 。github 地址为：https://github.com/841809077/ambari Kylin ，欢迎 star 。 这段时间，陆续有不少朋友通过公众号联系到我，问 阅读全文

摘要： 多线程一直是工作或面试过程中的高频知识点，今天给大家分享一下使用 ThreadPoolTaskExecutor 来自定义线程池和实现异步调用多线程。 一、ThreadPoolTaskExecutor 本文采用 Executors 的工厂方法进行配置。 1、将线程池用到的参数定义到配置文件中 在项目的 阅读全文

摘要： 一、定时任务触发条件 1、在 Application 启动类上添加：@EnableScheduling 2、含定时方法的类上添加注解：@Component，该注解将定时任务类纳入 spring bean 管理。 3、在定时方法上写上：@Scheduled(cron = "0 0/1 ?")，该 cr 阅读全文

摘要： 系统环境 操作系统：CentOS 6 或 CentOS 7 JDK 版本：1.8.0_151 Ambari 版本：2.6.1 HDP 版本：2.6.4.0 扩展链接 "Kerberos原理 经典对话" "基于ambari的Kerberos安装配置" "Windows本地安装配置Kerberos客户端 阅读全文

摘要： HDP版本：2.6.4.0 Kylin版本：2.5.1 机器：三台 CentOS 7，8G 内存 Kylin 的计算引擎除了 MapReduce ，还有速度更快的 Spark ，本文就以 Kylin 自带的示例 kylin_sales_cube 来测试一下 Spark 构建 Cube 的速度。 一、 阅读全文

摘要： 前言： 今天接手了同事之前做的一个小项目，里面涉及到了 FastDFS 的使用。但是当我在本地运行项目的时候，却报了 Could not autowire No beans of 'FastDFS Client' type found 相关的错误。 接下来就详细描述一下 FastDFS 报错的解决方 阅读全文

摘要： # coding=utf-8 """根据搜索词下载百度图片""" import re import urllib import os def get_onepage_urls(onepageurl): """获取单个翻页的所有图片的urls+当前翻页的下一翻页的url""" try: page = urllib.urlopen(onepageurl) # ... 阅读全文

摘要： 1. 首先通过urllib获取网页的源码 2. 获取下一页的url链接，当本页的图片链接获取完毕，再继续获取下一页的。使用Python正则表达式匹配需要的字段 3. 获取每一页的图片链接，将之放入一个总的数组，最后通过链接下载图片 4. 下载图片。使用urllib.urlretrieve()方法，直 阅读全文

摘要： 学习HDFS有一段时间了，现在把自己总结的HDFS的相关操作代码展示给大家。 主要有HDFS的增删改查，文件的追加，windows本地文件的上传，hdfs文件的下载，文件重命名，创建目录，文件是否存在等操作。 准备工作：我是用maven搭配的环境，下面用到了单元测试@Test，需要在pom.xml文 阅读全文

摘要： 在Java中，以下三个类经常用于处理数据流，下面介绍一下三个类的不同之处以及各自的用法。 InputStream ： 是所有字节输入流的超类，一般使用它的子类：FileInputStream等，它能输出字节流； InputStreamReader ： 是字节流与字符流之间的桥梁，能将字节流输出为字符 阅读全文