Jerry's Blog

摘要： 转载自：https://aws.amazon.com/blogs/big-data/load-data-incrementally-and-optimized-parquet-writer-with-aws-glue/ AWS Glue提供了一个无服务器环境来准备（提取和转换）和加载来自各种来源的大 阅读全文

摘要： Pyspark全角半角符号数据格式化转换UDF import findspark findspark.init() import pyspark from pyspark import SparkContext from pyspark.sql import SQLContext from pysp 阅读全文

摘要： PySpark Replace Column Values in DataFrame Pyspark 字段|列数据[正则]替换 转载：[Reprint]: https://sparkbyexamples.com/pyspark/pyspark-replace-column-values/#:~:te 阅读全文

摘要： ETL讲解（很详细！！！） 原文地址：https://www.cnblogs.com/yjd_hycf_space/p/7772722.html ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 E 阅读全文

摘要： 集群环境准备（Centos7) 1.三台虚拟机关闭防火墙 关闭防火墙，并禁止开机自启动 停止firewall systemctl stop firewalld.service 禁止firewall开机启动 systemctl disable firewalld.service 查看firewall状 阅读全文

摘要： MySQL中常见函数 字符串函数 *函数* *功能* CONCAT(s1,s2...sn) 字符串 s1,s2 等多个字符串合并为一个字符串 INSERT(s1,x,len,s2) 字符串 s2 替换 s1 的 x 位置开始长度为 len 的字符串 LOWER(s) 将字符串 s 的所有字母变成小写 阅读全文

摘要： Hadoop 1.1 什么是Hadoop Hadoop的概念: Apache™ Hadoop® 是一个开源的, 可靠的(reliable), 可扩展的(scalable)分布式计算框架 允许使用简单的编程模型跨计算机集群分布式处理大型数据集 可扩展: 从单个服务器扩展到数千台计算机，每台计算机都提供 阅读全文

摘要： Elasticsearch -Python Client ，Python API API Documentation 所有API调用都尽可能接近地映射原始REST api，包括调用的必需参数和可选参数之间的区别。这意味着代码区分了位置参数和关键字参数。但是，我们建议在所有调用中都使用关键字参数，以确 阅读全文

摘要： 最近很多朋友遇到这个问题，经过Google和微软官方客服的回答，总结出以下几条命令，请依次执行，高概率修复问题！ 一、按Windows+X键，选中WIndowsPowershell（管理员）打开 二、依次输入以下命令，请等待上一条命令执行结束后再执行下一个。 ipconfig /flushdns n 阅读全文

摘要： 今天又一次看到群里有人讨论这个问题，有人说是因为最开始国外程序员使用 for item in sth: pass item 表示变量，所以都沿用了i 我去Google查了查资料，发现并不是item的原因 在 Stack Overflow中看到一个回答： 意思为 i,j这种命名方式起源于数学，数学中的 阅读全文