下载jdk-8u361-linux-x64.tar.gz 官网地址 https://www.oracle.com/java/technologies/downloads 国内镜像 https://repo.huaweicloud.com/java/jdk/ 上传jdk-8u361-linux-x64 ...

在上篇文章中，我们向大家解释了为什么实时湖仓是当前企业数字化转型过程中的解决之道，介绍了实时计算和数据湖结合的应用场景。（“数据驱动”时代，企业为什么需要实时湖仓？） 在这篇文章中，我们将详细介绍在数栈实时开发平台内，实时湖仓的功能架构设计和具体实操案例。 功能架构介绍 实时湖仓并不是一个独立的产品 ...

使用Base克隆集群节点 先把Base关机,然后右键 - 管理 - 克隆 选择完整克隆 克隆名字这里叫node1 重复步骤,克隆node2/node3 为了分类,创建了一个大数据集群文件夹 以下命令全是root权限执行 配置固定IP # 修改主机名 hostnamectl set-hostname ...

下载VM与Centos镜像 用的 VM 17 版本: 该版本解决了老版本的一些蓝屏问题和兼容性问题 https://download3.vmware.com/software/WKST-1700-WIN/VMware-workstation-full-17.0.0-20800274.exe # 密钥 ...

近来在工作中处理JSON处理较多，深入研究了一下jq，之前对jq的使用一直停留在JSON数据格式化的层面，实际它的能力远不止于此。 在处理JSON数据时，我们经常需要在命令行中进行过滤、查询和编辑的操作。jq是一个强 ...

Trino是一款开源的高性能、分布式SQL查询引擎，专门用于对各种异构数据源运行交互式分析查询，支持从GB到PB的数据量范围。 ...

开发部门在做指标加工的全流程中，是否经常出现如下问题： · 业务部门看指标数据的时候，看到两个名称相似的指标，不清楚两个指标的差异性，来咨询开发部门指标计算口径，开发部门配合业务部门翻找代码，找出指标口径差异性，影响工作效率 · 业务部门看指标数据的时候，总会出现不同页面的同一指标统计的结果不一致的 ...

如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据平台，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战，湖仓一体方案应运而生。 《实时湖仓实践五讲》是袋鼠云打造的系列直播活动，将围绕实时湖仓的建设趋势和通用问题，邀请奋战于企业数字化一线的核心产品&技术专家 ...

MapReduce服务为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。集群中的FusionInsight Manager将提供企业级的集群的统一管理平台。 ...

一、数据模型架构规范 1.数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于DW数据的一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到DMP。 CDM：Common Data ...

索引原理 倒排索引 倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。ES底层在检索时底层使用的就是倒排索引。 索引模型 现有索引和映射如下: { "products" : { "mappi ...

本文分享自华为云社区 《实战指南，SpringBoot + Mybatis 如何对接多数据源》，作者：战斧。 在我们开发一些具有综合功能的项目时，往往会碰到一种情况，需要同时连接多个数据库，这个时候就需要用到多数据源的设计。而Spring与Myabtis其实做了多数据源的适配，只需少许改动即可对接多 ...

质量是产品的生命线，代码检查是软件开发过程中至关重要的一环，它可以帮助我们发现并纠正潜在的错误，提高软件质量，降低维护成本。 在袋鼠云产品中也存在这个问题，由于离线数据开发人员 SQL 水平不一，导致代码书写混乱、SQL 代码运行问题较多。本文将介绍在离线产品中如何利用 SQL 检查规则规范化 SQ ...

什么是机器学习(ML)? 它有什么作用 机器学习(ML)是人工智能(AI)的一个子集，通过算法发现数据中的通用模式，并根据持续不断的训练来优化调整最终结果。ML模型从过去的经验中学习，并根据已有的经验进行预测。例如，现在的电商已不再会使用普遍性降价或优惠券等手段吸引客户，取而代之的是根据每个客户的历 ...

数据作为新型生产要素，已快速融入生产、分配、流通、消费和社会服务管理等各环节，深刻改变着生产方式、生活方式和治理方式。越来越多企业也在尝试充分利用数据要素，开辟全新发展路径，进一步实现业务价值提升。 在数字化转型的大背景之下，白鲸开源旗下WhaleStudio与火山引擎ByteHouse依托于双方完 ...

一直以来，大数据量一直是爆炸性增长，每天几十 TB 的数据增量已经非常常见，但云存储相对来说还是不便宜的。众多云上的大数据用户特别希望可以非常简单快速的将文件移动到更实惠的 S3、OSS 上进行保存，这篇文章就来介绍如何使用 SeaTunnel 来进行到 OSS 的数据同步。 首先简要介绍一下 Ap ...

奇富科技（原360数科）是人工智能驱动的信贷科技服务平台，致力于凭借智能服务、AI研究及应用、安全科技，赋能金融机构提质增效，助推普惠金融高质量发展，让更多人享受到安全便捷的金融科技服务。作为国内领先的信贷科技服务品牌，累计注册用户数2亿多。 奇富科技之前使用的是自研的任务调度框架，基于Python ...

作者 | 李晨 编辑 | Debra Chen Gartner最近对全球2,500名高管进行的一项调查发现，近一半（45%）的人表示，ChatGPT的宣传促使他们增加人工智能（AI）投资。调查报告称，70%的高管表示他们正在调查人工智能的使用，而19%的高管正在试点或已经在生产中部署人工智能。 Ga ...

冷热分离功能支持将冷热数据存储在不同的介质上，可以大大降低存储成本，HBase支持对同一张表的数据进行冷热分离存储。 ...

最近，某白酒品牌频频吸引大众眼球，白酒与咖啡、巧克力等联名衍生品一经推出便掀起热潮。某商品由于太过火爆，甚至一度售罄下架。 不得不说，我国拥有超大规模内需市场，消费潜力巨大。 当前，创新消费场景加上数字化融合转型，成为酒企品牌开疆扩土、逆势增长的重要途径。 如今越来越多的酒企开始拥抱数字化，建立涵盖 ...