Robots2

摘要： 一、简介 Lambda架构（Lambda Architecture）是由Twitter工程师南森·马茨（Nathan Marz）提出的大数据处理架构。 这一架构的提出基于马茨在BackType和Twitter上的分布式数据处理系统的经验。 Lambda架构使开发人员能够构建大规模分布式数据处理系统。 阅读全文

摘要： 1、Robustandfault-tolerant（容错性和鲁棒性）：对大规模分布式系统来说，机器是不可靠的，可能会当机，但是系统需要是健壮、行为正确的，即使是遇到机器错误。除了机器错误，人更可能会犯错误。在软件开发中难免会有一些Bug，系统必须对有Bug的程序写入的错误数据有足够的适应能力，所以比 阅读全文

摘要： 一、下载 下载macOS版本：RAR 5.71 for macOS (64 bit) 二、安装 1、双击解压刚才下载的rarosx-5.7.1.tar，使用终端进入刚才解压的文件夹目录下cd /Users/xxxx(你的用户名)/Downloads/rar2、安装rar服务，这里直接将rar服务安装 阅读全文

摘要： 一、定义 1、数据湖定义（Wikipedia）： 数据湖是指使用大型二进制对象或文件这样的自然格式储存数据的系统。它通常把所有的企业数据统一存储，既包括源系统中的原始副本，也包括转换后的数据，比如那些用于报表, 可视化, 数据分析和机器学习的数据。数据湖可以包括关系数据库的结构化数据(行与列)、半结 阅读全文

摘要： 一、下载redis sudo apt install redis-server 二、修改配置文件 sudo vim /etc/redis/redis.conf daemonize yes 后端模式启动 bind 0.0.0.0 外网可访问，且去除ipv6限制 requirepass 修改密码 三、服 阅读全文

摘要： 1、左上角选择Preferences 2、搜索Editor Tabs，右侧取消勾选Show tabs in one row 阅读全文

摘要： 1、Spark读写同一张表报错问题Cannot overwrite a path that is also being read from 问题描述：Spark SQL在执行ORC和Parquet格式的文件解析时，默认使用Spark内置的解析器（Spark内置解析器效率更高），这些内置解析器不支持递 阅读全文

摘要： 1、当使用flink提交一个任务，没有给算子设置并行度情况下，默认所有算子会chain在一起，整个DAG图只会显示一个算子，虽然有利于数据传输，提高程序性能，但是无法看到数据的输入和疏忽，业绩反压相关指标。 2、在api开发任务中，可以使用disableChaining方法打算operatorCha 阅读全文

摘要： 一、Clickhouse解析Json 1、visitParamExtractBool（json，name） → 提取json中的name字段，返回UInt8，0或1 例：visitParamExtractBool('{"name":true}', 'name') AS bool 2、visitPar 阅读全文

摘要： 一、编译源码 （1）拉取编译镜像docker pull apache/incubator-doris:build-env-1.2 （2）Mac电脑上拉取源码git clone https://github.com/apache/incubator-doris.git 切换到指定分支git fetch 阅读全文