摘要：
一、conda安装 anaconda是一个非常流行的包管理软件，我个人尤其爱好，但是有一个问题就是它所有的软件包全部在国外，安装起来很麻烦，关键是下载速度慢，而且经常中断，所以需要配置国内安装的镜像，下载速度就很快了。 1.1 conda的配置文件config 如果用户从来没有使用过conda co 阅读全文
posted @ 2022-06-11 21:18
爱上编程技术
阅读(118)
评论(0)
推荐(0)
摘要：
一.操作系统环境说明 二.操作系统初始环境配置 1>.关闭并禁用防火墙 [root@docker201.yinzhengjie.com ~]# systemctl stop firewalld [root@docker201.yinzhengjie.com ~]# [root@docker201.y 阅读全文
posted @ 2022-03-26 21:14
爱上编程技术
阅读(29)
评论(0)
推荐(0)
摘要：
硬件和操作系统环境 intel cpu芯片： [root@centos7 ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 32 Intel(R) Xeon(R) CPU E5-2667 v2 @ 3.30GHz 显卡硬件情况： [r 阅读全文
posted @ 2022-03-26 21:06
爱上编程技术
阅读(94)
评论(0)
推荐(0)
摘要：
将frpc和frpc.ini文件拷贝到对应目录，设置执行权限 $ sudo cp frpc /usr/bin/frpc $ sudo chmod -R 777 /usr/bin/frpc $ sudo mkdir /etc/frp $ sudo cp frpc.ini /etc/frp/frpc.i 阅读全文
posted @ 2022-03-20 23:10
爱上编程技术
阅读(67)
评论(0)
推荐(0)
摘要：
什么是Alluxio Alluxio 是世界上第一个虚拟的分布式存储系统，它为计算框架和存储系统构建了桥梁，使计算框架能够通过一个公共接口连接到多个独立的存储系统,使计算与存储隔离。 Alluxio 是内存为中心的架构，以内存速度统一了数据访问速度，使得数据的访问速度能比现有方案快几个数量级,为大数 阅读全文
posted @ 2022-02-27 21:17
爱上编程技术
阅读(140)
评论(0)
推荐(0)
摘要：
1.概述 Apache Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据仓库，由百度在 2017 年开源，2018 年 8 月进入 Apache 孵化器。 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时 阅读全文
posted @ 2022-02-27 20:53
爱上编程技术
阅读(74)
评论(0)
推荐(0)
摘要：
Apache Doris 代码仓库地址：apache/incubator-doris 欢迎大家关注加星 本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。 1.什么是CDC CDC 是变更 阅读全文
posted @ 2022-02-27 20:53
爱上编程技术
阅读(45)
评论(0)
推荐(0)
摘要：
写在前面 上一篇，我们从零开始搭建好了ClouderaManager的安装环境。 接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。 一、创建集群并安装HDFS服务 安装步骤： 选择功能授权版本 ->> 创建集群 ->> 为集群添加服务 1. 版本选择 1.1 使用默认用户名密码登录 阅读全文
posted @ 2022-02-27 20:46
爱上编程技术
阅读(32)
评论(0)
推荐(0)
摘要：
写在前面 距离上一次写cdh集群搭建的文档已经一年多，今年2月份开始Cloudera全面下架了免费的安装包下载渠道，很多朋友在集群搭建的过程中按照之前的老文档遇到了一些问题。今天重新整理一次文档。 Cloudera官网公告 未订阅授权的用户无法使用CDH6.3.3和之后的版本 所以我们继续使用CDH 阅读全文
posted @ 2022-02-27 20:21
爱上编程技术
阅读(32)
评论(0)
推荐(0)
摘要：
操作系统要求 在安装CDH之前，我们来看看平台对系统有什么样的要求。通过官方文档，我们可以看到有5个方面的要求： 软件依赖CDH和CM支持的依赖文件系统要求nproc配置Kudu所要求的nscd 软件依赖 Python 操作系统带的Python是支持的（Hue和Spark会有一点问题），但Pytho 阅读全文
posted @ 2022-02-27 20:20
爱上编程技术
阅读(10)
评论(0)
推荐(0)
浙公网安备 33010602011771号