意料之外 意外

11 2019 档案

摘要:这里介绍MongoDB的安装和使用方法,包括安装Mongo、使用Shell命令操作MongoDB以及Java API编程实例等。 安装MongoDB ​ 首先,在Linux系统中打开一个终端,执行如下命令导入公共秘钥到包管理器中: $ sudo apt-key adv --keyserver hkp 阅读全文
posted @ 2019-11-28 10:12 陌默安 阅读(335) 评论(0) 推荐(0)
摘要:使用JAVA API编程实现下面内容: 1.创建《王者荣耀》游戏玩家信息表gamer,包含列族personalInfo(个人信息)、recordInfo(战绩信息)、assetsInfo(资产信息)。 2.向gamer表添加数据 personalInfo recordInfo assetInfo n 阅读全文
posted @ 2019-11-21 14:33 陌默安 阅读(623) 评论(0) 推荐(0)
摘要:hbase shell命令 描述 alter 修改列族(column family)模式 count 统计表中行的数量 create 创建表 describe 显示表相关的详细信息 delete 删除指定对象的值(可以为表,行,列对应的值,另外也可以指定时间戳的值) deleteall 删除指定行的 阅读全文
posted @ 2019-11-21 14:33 陌默安 阅读(621) 评论(0) 推荐(0)
摘要:简介: 1安装 HBase​ 本节介绍HBase的安装方法,包括下载安装文件、配置环境变量、添加用户权限等。 1.1 下载安装文件 HBase是Hadoop生态系统中的一个组件,但是,Hadoop安装以后,本身并不包含HBase,因此,需要单独安装HBase。 hbase-1.1.5-bin.tar 阅读全文
posted @ 2019-11-21 14:32 陌默安 阅读(2032) 评论(0) 推荐(0)
摘要:#Author:msq #Time:2019/11/16 import re import os filename = "person.txt" def menu(): #输出菜单 print(' '*5+'-'*15+"信息管理系统"+'-'*15) print(' '*5+'='*16+"功能菜 阅读全文
posted @ 2019-11-16 17:12 陌默安 阅读(745) 评论(0) 推荐(0)
摘要:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。 主要由Split、Map、Partition、Sort、Combine(需要自己写)、Merge、Reduce组成,一般来说Split、Partition、Sort、Merge不需要工程师编程但是可以改写,主要是写出Map 阅读全文
posted @ 2019-11-05 20:32 陌默安 阅读(274) 评论(0) 推荐(0)
摘要:Map/Reduce编程作业 现有student.txt和student_score.txt。将两个文件上传到hdfs上。使用Map/Reduce框架完成下面的题目 student.txt 2016001,王毅 2016002,张小明 2016003,李学彭 2016004,王东 2016005,王 阅读全文
posted @ 2019-11-05 19:43 陌默安 阅读(2201) 评论(1) 推荐(0)
摘要:错误: Caused by: java.lang.ClassCastException: class java.lang.Double cannot be cast to class org.apache.hadoop.io.WritableComparable (java.lang.Double 阅读全文
posted @ 2019-11-05 19:03 陌默安 阅读(1602) 评论(0) 推荐(0)
摘要:原因 原原因:string转int 格式出错 解决:我的输入文件格式在根据“,”分割完之后多出了一个空格,我想要的是“60” 但是分割完之后是“ 60”所以导致格式转换不匹配。 阅读全文
posted @ 2019-11-04 22:54 陌默安 阅读(4048) 评论(0) 推荐(0)
摘要:添加各种jar包 /usr/local/hadoop/share/hadoop/.. 这几个文件夹下的jar包以及它们子目录lib下的所有jar包 将/usr/local/hadoop/etc/hadoop下的core-site.xml和hdfs-site.xml文件复制到新建工程的src下 同时新 阅读全文
posted @ 2019-11-04 21:42 陌默安 阅读(345) 评论(0) 推荐(0)
摘要:原因: /usr/local/hadoop/tmp/mapred 有锁 解决:修改改文件的权限 在终端输入: cd /usr/local/hadoop/tmp sudo chmod 777 mapred sudo chown -R msq mapred 阅读全文
posted @ 2019-11-04 21:01 陌默安 阅读(405) 评论(0) 推荐(0)
摘要:解决办法: 看map和reduce的输入是不是对应,看看map和reduce设置的参数和下面的是否一致 阅读全文
posted @ 2019-11-04 20:59 陌默安 阅读(152) 评论(0) 推荐(0)
摘要:错误原因 缺少hadoop-yarn.jar包。 导入jar包就好了~-~ 阅读全文
posted @ 2019-11-04 20:34 陌默安 阅读(2012) 评论(0) 推荐(1)
摘要:下载配置文件: 链接:https://pan.baidu.com/s/13vatPHpDP5HaW0mKuHydUA 提取码:pjxi 1)启动hadoop cd /usr/local/hadoop ./sbin/start-dfs.sh 2)复制文件hadoop-eclipse-plugin-2. 阅读全文
posted @ 2019-11-02 18:16 陌默安 阅读(1507) 评论(0) 推荐(0)
摘要:由于之前已经安装过jdk了所以直接从下载eclipse开始 参考博客:https://www.cnblogs.com/zyrblog/p/8548270.html 1)下载 https://www.eclipse.org/downloads/ 在虚拟机中直接下载会默认下载相应的版本 2)解压到/us 阅读全文
posted @ 2019-11-02 17:25 陌默安 阅读(2181) 评论(0) 推荐(0)
摘要:vim的常用指令如下: 光标运动: h,j , k, l (上/下/左/右) 删除字符: x 删除行 : dd 模式退出 : Esc,Insert(或者i) 退出编辑器 : q 强制退出不保存: q! 运行shell命令 :sh(使用exit返回vi编辑器) 保存文件 :w 文本查找 : / 阅读全文
posted @ 2019-11-02 12:22 陌默安 阅读(379) 评论(0) 推荐(0)
摘要:启动hadoop 在浏览器中打开localhost:50070 找到 进入 操作 1)新建文件夹 在根目录下新建msq文件夹 查看 2)本地上传文件 将media/sf_gx(我的共享文件夹的位置)/1.txt 上传到/msq下 查看 3)查看文档 查看/msq/1.txt 4)下载到本地 将/ms 阅读全文
posted @ 2019-11-02 12:14 陌默安 阅读(593) 评论(0) 推荐(0)
摘要:安装前 1,更新apt sudo apt-get update 会让你输入密码(自己登录Ubuntu的时候设置的),输入密码不会显示在终端面板上,确定自己敲对之后点回车就行。 2,安装SSH服务器 sudo apt-get install openssh-server 安装过程中有个Y/N? 选Y 阅读全文
posted @ 2019-11-02 11:17 陌默安 阅读(265) 评论(0) 推荐(0)
摘要:https://www.runoob.com/w3cnote/pycharm-windows-install.html 阅读全文
posted @ 2019-11-01 23:14 陌默安 阅读(198) 评论(0) 推荐(0)
摘要:1,设备 >共享文件夹 >共享文件夹 2,小加号 >添加路径(自己设置主机上任意的路径) >设置名称(我的是gx) >选中自动挂载和固定分配 >OK 固定 3,如果出现“对该文件夹没有权限” 在终端输入 sudo usermod -aG vboxsf $(whoami) sudo reboot 原理 阅读全文
posted @ 2019-11-01 23:09 陌默安 阅读(8719) 评论(0) 推荐(0)
摘要:VeitualBox官网下载:https://www.virtualbox.org/wiki/Downloads 安装教程:http://dblab.xmu.edu.cn/blog/337-2/ 安装增强功能时出错: https://blog.csdn.net/zhangmeimei_pku/art 阅读全文
posted @ 2019-11-01 19:45 陌默安 阅读(223) 评论(0) 推荐(0)