摘要：
package main.scala.Alg import main.scala.core.config.{sc, spark_session} import org.apache.spark.ml.linalg.Vectors import org.apache.spark.rdd.RDD imp 阅读全文
posted @ 2025-07-11 00:05
ARYOUOK
阅读(35)
评论(0)
推荐(0)
摘要：
以下是基于实践总结的MySQL大数据量导入Hive的完整方案，涵盖工具选择、操作步骤及优化策略： 🔧 一、核心工具选择 Sqoop（推荐） 优势：Hadoop官方工具，支持增量导入、并行度控制、自动类型映射 适用场景：TB级数据迁移，需精细控制并行任务 sqoop import --connect 阅读全文
posted @ 2025-07-01 22:39
ARYOUOK
阅读(370)
评论(0)
推荐(0)
摘要：
在Hive中创建内部表和外部表时，可通过STORED AS子句指定ORC或Parquet列式存储格式，同时需区分两者的数据管理机制。以下是具体语法和场景说明： 一、内部表（Managed Table） 特点：Hive全权管理数据，删除表时会同时删除元数据和HDFS数据。创建语法（以ORC为例） 阅读全文
posted @ 2025-07-01 22:21
ARYOUOK
阅读(149)
评论(0)
推荐(0)
摘要：
# 登录hadoo用户进行安装执行 su hadoop tar -zxvf hive.tar.gz export HIVE_HOME=/opt/hive-3.1.3 export PATH=$PATH:$HIVE_HOME/bin export HADOOP_HOME=/opt/hadoop-3.3 阅读全文
posted @ 2025-07-01 21:23
ARYOUOK
阅读(218)
评论(0)
推荐(0)
摘要：
以下是基于归档模式实现时间点恢复（PITR）的具体步骤和示例： 一、前置条件 启用归档模式 -- 检查当前模式 SELECT log_mode FROM v$database; -- 切换为归档模式（需重启） SHUTDOWN IMMEDIATE; STARTUP MOUNT; ALTER DATA 阅读全文
posted @ 2025-06-26 16:26
ARYOUOK
阅读(121)
评论(0)
推荐(0)
摘要：
以下是基于 CentOS 7 的 MySQL 8 二进制安装详细步骤： 📦 一、准备工作 卸载冲突组件 systemctl stop mariadb rpm -e --nodeps mariadb-server mariadb rm -rf /var/lib/mysql /etc/my.cn 阅读全文
posted @ 2025-06-21 22:35
ARYOUOK
阅读(176)
评论(0)
推荐(0)
摘要：
以下为CentOS 7.9单机部署Hadoop 3.3.6的详细步骤，整合多个权威来源的操作要点及注意事项： 📋 一、系统准备（root用户操作） 更新系统与基础工具 sudo yum update -y sudo yum install -y wget tar ssh rsync vim 创建专 阅读全文
posted @ 2025-06-20 20:35
ARYOUOK
阅读(159)
评论(0)
推荐(0)
摘要：
谱聚类的数学推导过程如下： 构造相似矩阵W和度矩阵D 相似矩阵W：通常使用高斯核函数计算数据点间的相似度\[W_{ij} = \exp\left(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\right) \]其中\(\sigma\)为带宽参数 度矩阵D：对角矩阵，\(D_{ 阅读全文
posted @ 2025-06-11 09:11
ARYOUOK
阅读(66)
评论(0)
推荐(0)
摘要：
📌 一、生命周期分层阶段 定义生命周期标签 新客阶段：首次申请贷款≤30天，特征为低历史行为数据。 活跃阶段：稳定还款≥3期，特征为高频交易+低逾期率。 衰退阶段：最近1期逾期或还款金额下降50%。 流失阶段：连续3期无还款记录。 数据预处理 提取用户时间序列数据：放款日期、还款记录、交易频率等。 阅读全文
posted @ 2025-06-11 08:34
ARYOUOK
阅读(94)
评论(0)
推荐(0)
摘要：
一、关键实现说明： 每个DBMS_JOB.SUBMIT调用创建一个独立后台作业25 通过WHAT参数指定要执行的PL/SQL代码块5 NEXT_DATE设为SYSDATE使作业立即执行5 RUN方法强制立即启动作业实现并行5 需要COMMIT确保作业提交到作业队列5 监控方法： 1.查询USER_J 阅读全文
posted @ 2025-05-23 17:24
ARYOUOK
阅读(176)
评论(0)
推荐(0)
摘要：
## finereport获取单元格控件对应列和行标，给对应单元格赋值 var c2value = contentPane.getWidgetsByName("p1").getValue(); var b2list = contentPane.getWidgetsByName("status"); 阅读全文
posted @ 2025-05-21 22:42
ARYOUOK
阅读(120)
评论(0)
推荐(0)
摘要：
一、环境配置 Sqoop安装 tar zxvf sqoop-1.4.7.tar.gz # 解压安装包:ml-citation{ref="2" data="citationList"} export SQOOP_HOME=/opt/sqoop-1.4.7 # 配置环境变量:ml-citation 阅读全文
posted @ 2025-04-17 10:33
ARYOUOK
阅读(205)
评论(0)
推荐(0)
摘要：
1、pom.xml <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>2.0.32</version> </dependency> 2、springmvc-config.xml 阅读全文
posted @ 2023-07-25 21:18
ARYOUOK
阅读(165)
评论(0)
推荐(0)
摘要：
maven相关分享 maven仓库地址：https://mvnrepository.com/阿里仓库地址：https://developer.aliyun.com/mvn/search阿里仓库settings.xml配置： 阅读全文
posted @ 2023-07-24 21:01
ARYOUOK
阅读(46)
评论(0)
推荐(0)
摘要：
idea配置： -Dfile.encoding=UTF-8 阅读全文
posted @ 2023-07-22 13:36
ARYOUOK
阅读(27)
评论(0)
推荐(0)
摘要：
-- ruoyi_base.system_dictdata definition CREATE TABLE `test_info` ( `id` int NOT NULL AUTO_INCREMENT, `dept_belong_id` varchar(256) DEFAULT NULL, `upd 阅读全文
posted @ 2023-07-13 20:35
ARYOUOK
阅读(47)
评论(0)
推荐(0)
摘要：
from sqlalchemy import create_engine import pandas as pd import sqlalchemy.types as type from sqlalchemy.engine import Engine def connet_oracle(): ip_ 阅读全文
posted @ 2023-03-24 09:20
ARYOUOK
阅读(437)
评论(0)
推荐(0)
摘要：
# -*- coding: utf-8 -*- import os import pandas as pd import cx_Oracle as cx # os.environ['path'] = r'D:\Program Files\plsql developer8.0\instantclien 阅读全文
posted @ 2023-03-24 09:15
ARYOUOK
阅读(118)
评论(0)
推荐(0)
摘要：
# 导入需要的库 import pandas as pd import os def read_ddl_create_tab_sql(file_path:str,table_name:str): df = pd.read_csv(file_path,sep='\|\@\|',index_col=0, 阅读全文
posted @ 2023-03-24 09:08
ARYOUOK
阅读(186)
评论(0)
推荐(0)
摘要：
import paramiko # pip install cx_Oracle -i https://mirrors.aliyun.com/pypi/simple/ host = 'ip' port = 22 username = '账户' password = '密码' remote_path = 阅读全文
posted @ 2023-03-24 09:06
ARYOUOK
阅读(295)
评论(0)
推荐(0)
摘要：
-- 查看字符集编码设置为以下 show VARIABLES like 'CHARACTER%' set character_set_results = utf8mb4; character_set_client utf8mb4 character_set_connection utf8mb4 ch 阅读全文
posted @ 2022-11-22 22:17
ARYOUOK
阅读(2708)
评论(0)
推荐(0)
摘要：
具体参考:Error:java: Compilation failed: internal java compiler error 解决办法 - 程序猿的故事 - CSDN博客 1、查看项目的jdk（Ctrl+Alt+shift+S） File ->Project Structure->Projec 阅读全文
posted @ 2022-11-04 14:15
ARYOUOK
阅读(332)
评论(0)
推荐(0)
摘要：
迪杰斯特拉算法用于查找图中某个顶点到其它所有顶点的最短路径，该算法既适用于无向加权图，也适用于有向加权图。注意，使用迪杰斯特拉算法查找最短路径时，必须保证图中所有边的权值为非负数，否则查找过程很容易出错。 一、迪杰斯特拉算法的实现思路 图 1 是一个无向加权图，我们就以此图为例，给大家讲解迪杰斯特拉 阅读全文
posted @ 2022-10-26 14:16
ARYOUOK
阅读(882)
评论(0)
推荐(0)
摘要：
一、算法思想 了解了什么是最小生成树后，本节为您讲解如何用普里姆（prim）算法查找连通网（带权的连通图）中的最小生成树。 普里姆算法查找最小生成树的过程，采用了贪心算法的思想。对于包含 N 个顶点的连通网，普里姆算法每次从连通网中找出一个权值最小的边，这样的操作重复 N-1 次，由 N-1 条权值 阅读全文
posted @ 2022-10-26 13:55
ARYOUOK
阅读(1852)
评论(0)
推荐(0)
摘要：
显存问题： 1、这种情况需要去官网下载zlib的文件，http://www.winimage.com/zLibDll/zlib123dllx64.zip这是下载地址。 2、在解压后的文件夹 dll_x64 中找到 zlibwapi.dll 文件放到 C:\Program Files\NVIDIA G 阅读全文
posted @ 2022-09-22 14:17
ARYOUOK
阅读(385)
评论(0)
推荐(0)
浙公网安备 33010602011771号