来自火星写代码的你

摘要： HBASE 安装启动 vim hbase-site.xml <configuration> 开启伪分布式 <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> 设置HBASE 数据的存储地址 阅读全文

摘要： 临时分区 临时分区是归属于某一分区表的。只有分区表可以创建临时分区。这块很核心只有分区表才会有临时分区。 规则： 临时分区的分区字段和正式分区一样 临时分区的名称必须不一样并且和正式分区也不一样 临时分区支持添加、删除、替换操作 临时分区的添加和正式分区的添加操作相似。临时分区的分区范围独立于正式分 阅读全文

摘要： 概述 Doris现在支持Broker load/routine load/stream load/mini batch load等多种导入方式。 spark load主要用于解决初次迁移，大量数据迁移doris的场景，用于提升数据导入的速度。 导入方式 所有导入方式都支持 csv 数据格式。其中 B 阅读全文

摘要： Doris存储文件格式优化 GROUPING SETS 设计文档 GROUP BY GROUPING SETS 是对 GROUP BY 子句的扩展，它能够在一个 GROUP BY 子句中一次实现多个集合的分组。其结果等价于将多个相应 GROUP BY 子句进行 UNION 操作。 SELECT k1 阅读全文

摘要： 审计日志插件 Doris 的审计日志插件是在 FE 的插件框架基础上开发的。是一个可选插件。用户可以在运行时安装或卸载这个插件。 该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析。 Doris On ES Doris-On-ES将D 阅读全文

摘要： 安装 下载安装包，进入目录 以下命令启动 ./bin/elasticsearch 。 如果这时报错"max virtual memory areas vm.maxmapcount [65530] is too low"，要运行下面的命令。 sudo sysctl -w vm.max_map_coun 阅读全文

摘要： 概述 安装 FE URL地址如下： http://hostname:8030/system?path=//frontends SHOW PROC '/backends'; SHOW PROC '/frontends'; 简单使用 Doris 采用 MySQL 协议进行通信，用户可通过 MySQL c 阅读全文

摘要： 概述 hive要使用，最常设置的包括元数据存储到 MySQL。 启动 HiveMetaStore 服务 ， 该服务的作用就是 元数据存储的中介， 所有元数据操作通过它去交互。这样只需要部署一个该服务，就可以扩展多个 hive client 进行访问。 启动方式如下： hive --service m 阅读全文

摘要： 概述 为什么需要这种存储 ？ 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。 这类存储的局限性是数据无法进行随 机的读写。 就是不支持按照行去检索， 不支持行级别的update 和 delete 动态数据：以 HBase、Cassandra 作为存储引擎，适用于大数 阅读全文

摘要： DS 安装 参考官网：https://dolphinscheduler.apache.org/en-us/docs/latest/user_doc/cluster-deployment.html 部署用户获取sudo权限； host配置，ssh免密，部署目录修改所属用户； 数据库初始化：修改conf 阅读全文