Robots2

2023年10月7日

摘要：一、下载下载macOS版本：RAR 5.71 for macOS (64 bit) 二、安装 1、双击解压刚才下载的rarosx-5.7.1.tar，使用终端进入刚才解压的文件夹目录下cd /Users/xxxx(你的用户名)/Downloads/rar2、安装rar服务，这里直接将rar服务安装阅读全文

posted @ 2023-10-07 17:51 Robots2 阅读(206) 评论(0) 推荐(0)

湖仓一体

摘要：一、定义 1、数据湖定义（Wikipedia）：数据湖是指使用大型二进制对象或文件这样的自然格式储存数据的系统。它通常把所有的企业数据统一存储，既包括源系统中的原始副本，也包括转换后的数据，比如那些用于报表, 可视化, 数据分析和机器学习的数据。数据湖可以包括关系数据库的结构化数据(行与列)、半结阅读全文

posted @ 2023-10-07 10:13 Robots2 阅读(46) 评论(0) 推荐(0)

2023年9月28日

linux安装redis

摘要：一、下载redis sudo apt install redis-server 二、修改配置文件 sudo vim /etc/redis/redis.conf daemonize yes 后端模式启动 bind 0.0.0.0 外网可访问，且去除ipv6限制 requirepass 修改密码三、服阅读全文

posted @ 2023-09-28 14:01 Robots2 阅读(95) 评论(0) 推荐(0)

2023年8月30日

IDEA 打开多个文件显示在多行Tab上

摘要： 1、左上角选择Preferences 2、搜索Editor Tabs，右侧取消勾选Show tabs in one row 阅读全文

posted @ 2023-08-30 11:06 Robots2 阅读(2183) 评论(0) 推荐(0)

2023年8月16日

Spark异常总结

摘要： 1、Spark读写同一张表报错问题Cannot overwrite a path that is also being read from 问题描述：Spark SQL在执行ORC和Parquet格式的文件解析时，默认使用Spark内置的解析器（Spark内置解析器效率更高），这些内置解析器不支持递阅读全文

posted @ 2023-08-16 09:21 Robots2 阅读(1442) 评论(0) 推荐(0)

2023年8月3日

FLink参数pipeline.operator-chaining介绍

摘要： 1、当使用flink提交一个任务，没有给算子设置并行度情况下，默认所有算子会chain在一起，整个DAG图只会显示一个算子，虽然有利于数据传输，提高程序性能，但是无法看到数据的输入和疏忽，业绩反压相关指标。 2、在api开发任务中，可以使用disableChaining方法打算operatorCha 阅读全文

posted @ 2023-08-03 11:27 Robots2 阅读(1354) 评论(0) 推荐(0)

2023年7月14日

Clickhouse、Mysql、Presto数据库解析Json数据

摘要：一、Clickhouse解析Json 1、visitParamExtractBool（json，name） → 提取json中的name字段，返回UInt8，0或1 例：visitParamExtractBool('{"name":true}', 'name') AS bool 2、visitPar 阅读全文

posted @ 2023-07-14 14:32 Robots2 阅读(1396) 评论(0) 推荐(0)

2023年7月6日

Mac使用docker安装Doris

摘要：一、编译源码（1）拉取编译镜像docker pull apache/incubator-doris:build-env-1.2 （2）Mac电脑上拉取源码git clone https://github.com/apache/incubator-doris.git 切换到指定分支git fetch 阅读全文

posted @ 2023-07-06 16:10 Robots2 阅读(1179) 评论(0) 推荐(0)

mac安装gcc7

摘要：查看gcc版本 gcc --version 1、安装gcc brew install gcc@7 cd /usr/local/Cellar 改名mv gcc\@7/ gcc 2、打开mac的SIP防护，因为要修改文件 csrutil status为开启状态则不需要修改重启后按command+r打开阅读全文

posted @ 2023-07-06 16:07 Robots2 阅读(286) 评论(0) 推荐(0)

mac安装mysql

摘要：安装 brew install mysql@5.6 启动 brew services start mysql 安装后提示信息 To have launchd start mysql now and restart at login: brew services start mysql Or, if 阅读全文

posted @ 2023-07-06 16:07 Robots2 阅读(50) 评论(0) 推荐(0)

公告