摘要： SELECT day FROM ( SELECT day, SUM(CASE WHEN is_zm = 'N' THEN 1 ELSE 0 END) OVER (ORDER BY day DESC ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) a 阅读全文

摘要： package main.java.work; import java.util.ArrayList; import java.util.Collections; import java.util.List; import java.util.concurrent.*; class parallel 阅读全文

摘要： import multiprocessing import time import numba as nb class parallelPool: def __init__(self,cpu_count:int=multiprocessing.cpu_count()): self.pool = mu 阅读全文

摘要： Hadoop HDFS 命令大全 基本文件操作命令 列出目录内容 hdfs dfs -ls <路径> hdfs dfs -ls -R <路径> # 递归列出 创建目录 hdfs dfs -mkdir <路径> hdfs dfs -mkdir -p <路径> # 创建多级目录 上传文件 hdfs df 阅读全文

摘要： import os from collections import Counter import numpy as np import pandas as pd class autoKMeans: """K均值聚类算法实现类""" def __init__(self, n_clusters=3, m 阅读全文

摘要： 步骤 1.种子随机：​​ 第一个点是随机的。 2.​​远近为纲：​​ 后续每个新质心的选择，都​​依赖​​于到​​当前所有已选质心​​的距离。 3.​​距离平方加权：​​ 使用平方距离度量“远近”并计算概率。 4.概率性偏袒远方：​​ 每个点的被选概率，与其到最近已有质心的距离平方​​成正比​​。距 阅读全文

摘要： import tensorflow as tf import numpy as np class TextClassifier: def __init__(self, vocab_size=10000, max_len=200, embedding_dim=128): tf.reset_defaul 阅读全文

摘要： import numpy as np from sklearn.cluster import KMeans,DBSCAN import pandas as pd from sklearn import datasets from sklearn.preprocessing import MaxAbs 阅读全文

摘要： 熵权法是一种基于信息熵的客观赋权方法，其数学公式和计算步骤如下： 数据标准化处理（消除量纲影响）： 正向指标：\(x_{ij}' = \frac{x_{ij} - \min(x_j)}{\max(x_j) - \min(x_j)}\) 负向指标：\(x_{ij}' = \frac{\max(x_j) 阅读全文

摘要： package org.example; import org.apache.commons.math3.linear.*; import org.apache.commons.math3.ml.clustering.*; import org.apache.commons.math3.ml.dis 阅读全文

摘要： package main.scala.work import org.apache.spark.sql.{SaveMode, SparkSession} object MysqlToHive { def main(args: Array[String]): Unit = { // 1. 创建Spar 阅读全文

摘要： package main.scala.work import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object connectHive { def main(args: Array[String]): 阅读全文

摘要： package main.scala.Alg import main.scala.core.config.{sc, spark_session} import org.apache.spark.ml.linalg.Vectors import org.apache.spark.rdd.RDD imp 阅读全文

摘要： 以下是基于实践总结的MySQL大数据量导入Hive的完整方案，涵盖工具选择、操作步骤及优化策略： 🔧 一、核心工具选择 Sqoop（推荐） 优势：Hadoop官方工具，支持增量导入、并行度控制、自动类型映射 适用场景：TB级数据迁移，需精细控制并行任务 sqoop import --connect 阅读全文

摘要： 在Hive中创建内部表和外部表时，可通过STORED AS子句指定ORC或Parquet列式存储格式，同时需区分两者的数据管理机制。以下是具体语法和场景说明： 一、内部表（Managed Table）‌ 特点‌：Hive全权管理数据，删除表时会同时删除元数据和HDFS数据。创建语法‌（以ORC为例） 阅读全文

摘要： # 登录hadoo用户进行安装执行 su hadoop tar -zxvf hive.tar.gz export HIVE_HOME=/opt/hive-3.1.3 export PATH=$PATH:$HIVE_HOME/bin export HADOOP_HOME=/opt/hadoop-3.3 阅读全文

摘要： 以下是基于归档模式实现时间点恢复（PITR）的具体步骤和示例： 一、前置条件 启用归档模式 -- 检查当前模式 SELECT log_mode FROM v$database; -- 切换为归档模式（需重启） SHUTDOWN IMMEDIATE; STARTUP MOUNT; ALTER DATA 阅读全文

摘要： 以下是基于 CentOS 7 的 MySQL 8 二进制安装详细步骤： 📦 ‌一、准备工作‌ 卸载冲突组件‌ systemctl stop mariadb rpm -e --nodeps mariadb-server mariadb rm -rf /var/lib/mysql /etc/my.cn 阅读全文

摘要： 以下为CentOS 7.9单机部署Hadoop 3.3.6的详细步骤，整合多个权威来源的操作要点及注意事项： 📋 一、系统准备（root用户操作） 更新系统与基础工具 sudo yum update -y sudo yum install -y wget tar ssh rsync vim 创建专 阅读全文

摘要： 谱聚类的数学推导过程如下： 构造相似矩阵W和度矩阵D 相似矩阵W：通常使用高斯核函数计算数据点间的相似度\[W_{ij} = \exp\left(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\right) \]其中\(\sigma\)为带宽参数 度矩阵D：对角矩阵，\(D_{ 阅读全文

摘要： 📌 一、生命周期分层阶段 定义生命周期标签 新客阶段：首次申请贷款≤30天，特征为低历史行为数据。 活跃阶段：稳定还款≥3期，特征为高频交易+低逾期率。 衰退阶段：最近1期逾期或还款金额下降50%。 流失阶段：连续3期无还款记录。 数据预处理 提取用户时间序列数据：放款日期、还款记录、交易频率等。 阅读全文

摘要： 一、关键实现说明： 每个DBMS_JOB.SUBMIT调用创建一个独立后台作业25 通过WHAT参数指定要执行的PL/SQL代码块5 NEXT_DATE设为SYSDATE使作业立即执行5 RUN方法强制立即启动作业实现并行5 需要COMMIT确保作业提交到作业队列5 监控方法： 1.查询USER_J 阅读全文

摘要： ## finereport获取单元格控件对应列和行标，给对应单元格赋值 var c2value = contentPane.getWidgetsByName("p1").getValue(); var b2list = contentPane.getWidgetsByName("status"); 阅读全文

摘要： 一、环境配置 Sqoop安装‌ tar zxvf sqoop-1.4.7.tar.gz # 解压安装包‌:ml-citation{ref="2" data="citationList"} export SQOOP_HOME=/opt/sqoop-1.4.7 # 配置环境变量‌:ml-citation 阅读全文

摘要： 1、pom.xml <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>2.0.32</version> </dependency> 2、springmvc-config.xml 阅读全文