天赋不足勤来补

摘要： 1、什么是Python 生成器（generator） 简单来理解，python 生成器是指一边生成一边计算的机制。 2、作用： 当有海量数据时，如果所有数据全部在内存里面，会占用很多的内存空间，例如：只想用列表前面的几个数据，后面没用到的数据就会占据大量内存空间。 如果列表元素按照某种算法推算出来， 阅读全文

摘要： Hadoop fs 命令分类： 1、本地-》HDFS： put(从本地文件系统中复制单个或多个源路径到目标文件系统) hadoop fs -put localfile /user/hadoop/hadoopfile copyFromLocal(和put命令相似) hadoop fs -copyFro 阅读全文

摘要： 步骤： 一、Java及Hadoop环境安装 1、解压Java和Hadoop安装包 <!--解压Java安装包--> tar -zxvf /opt/software/jdk-8u221-linux-x64.tar.gz -C /opt/module <!--解压Java安装包--> tar -zxvf 阅读全文

摘要： 一、HDFS概述 HDFS是分布式文件管理系统。 应用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用于数据分析 二、HDFS组成架构 HDFS由单个namenode和多个datanode组成。 NameNode(nn)：Master——主管、管理者 作用：1）管理HDFS命名空间； 阅读全文

摘要： Python Mysql 操作步骤 1、安装pymysql安装包 pip install pymysql 2、导包 import pymysql 3、连接数据库 db=pymysql.connet( host=172.0.0.1, user="root", password="123456", da 阅读全文

摘要： 九、RANDOM获取随机数 <!--打印一个随机数--> echo $RANDOM <!--获取系统上次的随机数--> set|grep RANDOM RANDOM=11483 <!--获取某个范围随机数--> echo $[RANDOM%8+2] 十、影响shell程序的内置函数 exit：退出整 阅读全文

摘要： 四、条件判断 1、格式： 1) test 条件表达式 2) [条件表达式] 3) [[条件表达式]] 2、条件判断相关参数 判断文件类型： 判断文件权限： 文件比较： 整数比较： 字符串比较： 多重条件判断： 五、流程控制语句 语法： <!--if语句--> if [condition];then 阅读全文

摘要： 一、shell脚本写法 1、脚本第一部分，魔法字符 #!/bin/bash 指定解析器 <!--指定解析器--> #!/bin/bash 2、脚本第二部分，对脚本的信息进行说明 <!--脚本说明--> #Name: 名字 #Desc: 脚本功能描述 #Path: 存放路径 3、脚本第三部分，脚本要实 阅读全文

摘要： 一、文件和目录 1、cd--(change directory):切换目录 <!--切换到根目录--> cd ~<!--切换到指定目录--> cd /etc/sysconfig<!--切换到上一层目录-->cd ..<!--切换到上两层目录-->cd ../..<!--切换到上次的目录-->cd - 阅读全文