欣欣姐

前言：数据倾斜大多数是由于数据本身的分布不均匀。故而需要我们使用诸如列裁剪、Mapjoin、GroupBy等方法进行处理。数据倾斜表现：1、任务日志进度长度为99%，在日志监控进度条显示只有几个reduce进度一直没有完成。 2、某一reduce处理时长>平均处理时长 3、job数过多 数据倾斜原因 Read More

# 每月将各分公司的业务情况汇总 再定时输出 import cx_Oracle from openpyxl.styles import Font import pandas as pd import openpyxl import time from email.mime.multipart imp Read More

背景：需要读取本地的log文件，并进行字符的分割 package com.wfbmall.interceptors.com.test; import java.io.*; public class test01{ public static void main (String[] args) { t Read More

问题： 执行python脚本时，提示IndentationError: unindent does not match any outer indentation level。 原因： 1. 代码格式未对齐，找到提示错误的行，检查是否对齐 2. 是否存在特殊字符 解决方案，将代码复制到nopad++ Read More

通过flume将日志数据读取到kafka中，然后再利用spark去消费kafka的数据， 1.保证zookeeper服务一直开启 2.配置flume文件，其配置信息如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configu Read More

通过flume将日志数据读取到kafka中，然后再利用spark去消费kafka的数据， 1.保证zookeeper服务一直开启 2.配置flume文件，其配置信息如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configu Read More

一.截取函数 1.excel中mid() 函数，截取字符串的从字符串返回指定数量的字符,如 2.excel中right()函数，从字符串右端取指定个数字符 3.excel中left()函数，从字符串左端取指定个数字符 Read More

针对于64位的数据库 1.首先进行ini文件配置，如果电脑安装了navicat，就用navicat里面的oci.dll文件，因为EZDML运行也需要客户端 可以直接引用那vicat（plsql可能是32位的，所以无法直接用plsql的） 2.再进行数据库的连接配置 备注，如果报错The creati Read More

背景：需要实时读取log日志文件中的记录到kafka 1.zookeeper服务需要开启，查看zookeeper的状态，（zookeeper的安装及启动过程可查看 https://www.cnblogs.com/cstark/p/14573395.html） [root@master kafka_2 Read More

一，hadoop进入到hive的命令交互界面 进入到hive的安装目录bin下，cd /opt/soft/hive/bin [root@master bin]# cd /opt/soft/hive/bin [root@master bin]# ./hive 二，进入到beeline下 [root@m Read More