随笔分类 - 大数据
摘要：数据集下载： 链接：https://pan.baidu.com/s/1EMaN6uuQJlsrvaO2NQKgkQ 提取码：tl58 一、项目背景 1.背景 该数据集记录了280份来自不同国家、不同性别两个学期的学生记录，包括当前受教育程度、班级、所选课程、成绩、出勤特征、以及家长参与等信息，通过分
阅读全文
摘要：创建hadoop用户 1、首先新建用户，adduser命令 sudo adduser hadoop passwd hadoop 输入密码之后，一路 y 确定。 2、添加用户组 在创建hadoop用户的同时也创建了hadoop用户组，下面我们把hadoop用户加入到hadoop用户组下面 sudo u
阅读全文
摘要：1.安装 1.1下载：https://www.anaconda.com/products/individual#linux 1.2安装： bash Anaconda3-2019.03-Linux-x86_64.sh 一路回车，在合适位置按照提示输入yes;在最后提示是否将该路径加入到环境里面,默认是
阅读全文
摘要：1.出现Python packaging tools not found 原因：系统安装的pip到Ubuntu默认的python版本中去了，python3中缺少对应的pip 解决： 在终端输入： sudo apt install python3-pip pip install packaging t
阅读全文
摘要：http://dblab.xmu.edu.cn/blog/install-mysql/ 1.netstat 命令找不到解決办法: 如果出现下面问题： [root@thunderspeed ~]# netstat bash: netstat: command not found... [root@th
阅读全文
摘要：练习： 1、将下列JSON格式数据复制到Linux系统中，并保存命名为employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "name":"Jack","a
阅读全文
摘要：直接去软件商店下载o_0 Ubuntu snap提示has “install-snap” change in progress 错误解决： 终端输入： snap changes sudo abort snap 5 如果出现： 不用管这个错误，再次安装即可 破解： https://shimo.im/d
阅读全文
摘要：1.pyspark交互式编程 查看群里发的“data01.txt”数据集，该数据集包含了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,6
阅读全文
摘要：参考博文：https://blog.csdn.net/yitiaodashu/article/details/79016671 所谓callable对象是指一个后边可以加()的对象，比如函数， 所以这种异常肯定是某对象多加了()， 比如：把一个变量用了函数名来命名，结果再调这个函数的时候就会报这个异
阅读全文
摘要：解决办法： su root chmod 644 /usr/lib/sudo/sudoers.so chown -R root /usr/lib/sudo 千万不要给 /usr 赋全部权限！！！ 解决办法：https://www.jianshu.com/p/c6c6da438f3c
阅读全文
摘要：Spark2.1. http://dblab.xmu.edu.cn/blog/1689-2/ 0+入门：Spark的安装和使用(Python版) Spark2.1.0+入门：第一个Spark应用程序：WordCount(Python版) http://dblab.xmu.edu.cn/blog/16
阅读全文
摘要：这里介绍MongoDB的安装和使用方法，包括安装Mongo、使用Shell命令操作MongoDB以及Java API编程实例等。 安装MongoDB 首先，在Linux系统中打开一个终端，执行如下命令导入公共秘钥到包管理器中： $ sudo apt-key adv --keyserver hkp
阅读全文
摘要：使用JAVA API编程实现下面内容： 1.创建《王者荣耀》游戏玩家信息表gamer,包含列族personalInfo(个人信息)、recordInfo（战绩信息）、assetsInfo（资产信息）。 2.向gamer表添加数据 personalInfo recordInfo assetInfo n
阅读全文
摘要：hbase shell命令 描述 alter 修改列族（column family）模式 count 统计表中行的数量 create 创建表 describe 显示表相关的详细信息 delete 删除指定对象的值（可以为表，行，列对应的值，另外也可以指定时间戳的值） deleteall 删除指定行的
阅读全文
摘要：简介： 1安装 HBase 本节介绍HBase的安装方法，包括下载安装文件、配置环境变量、添加用户权限等。 1.1 下载安装文件 HBase是Hadoop生态系统中的一个组件，但是，Hadoop安装以后，本身并不包含HBase，因此，需要单独安装HBase。 hbase-1.1.5-bin.tar
阅读全文
摘要：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 主要由Split、Map、Partition、Sort、Combine（需要自己写）、Merge、Reduce组成，一般来说Split、Partition、Sort、Merge不需要工程师编程但是可以改写，主要是写出Map
阅读全文
摘要：Map/Reduce编程作业 现有student.txt和student_score.txt。将两个文件上传到hdfs上。使用Map/Reduce框架完成下面的题目 student.txt 2016001,王毅 2016002,张小明 2016003,李学彭 2016004,王东 2016005,王
阅读全文
摘要：错误： Caused by: java.lang.ClassCastException: class java.lang.Double cannot be cast to class org.apache.hadoop.io.WritableComparable (java.lang.Double
阅读全文
摘要：原因 原原因：string转int 格式出错 解决：我的输入文件格式在根据“,”分割完之后多出了一个空格，我想要的是“60” 但是分割完之后是“ 60”所以导致格式转换不匹配。
阅读全文
摘要：添加各种jar包 /usr/local/hadoop/share/hadoop/.. 这几个文件夹下的jar包以及它们子目录lib下的所有jar包 将/usr/local/hadoop/etc/hadoop下的core-site.xml和hdfs-site.xml文件复制到新建工程的src下 同时新
阅读全文
浙公网安备 33010602011771号