Nevesettle - 博客园

2020年9月23日

摘要： MapReducer运行过程以单词统计为案例。假如现在文件中存在如下内容： aa bb aa cc dd aa 当然，这是小文件，如果文件大小较大时会将文件进行 “切片” ，此处的切片和 HDFS 的 “分块”概念不同。 “切片” 是将文件进行逻辑的划分，而 “分块” 是进行物理的划分。即 “ 阅读全文

posted @ 2020-09-23 22:57 Nevesettle 阅读(693) 评论(0) 推荐(0)

2020年9月20日

HDFS客户端操作（JAVA代码）

摘要：环境准备 windows需要配置hadoop的windows下的依赖安装包地址：链接：https://pan.baidu.com/s/1QtbH-x-S0QytkmaoSosdEw 提取码：2ktw 将安装包解压至自己所选择的目录，然后配置环境变量： HADOOP_HOME : 解压的目录 PA 阅读全文

posted @ 2020-09-20 16:42 Nevesettle 阅读(349) 评论(1) 推荐(0)

2020年9月15日

虚拟机(centos7)网络配置

摘要：修改网络配置（ip等） VWware右上角，选择编辑虚拟网络编辑器可以看到子网ip是 192.168.1.0，那么我们分配ip地址就可以从此ip段开始。再点击NAT设置这里的网关我们稍后会用到输入命令： vim /etc/sysconfig/network-script/ifcfg-ent 阅读全文

posted @ 2020-09-15 22:14 Nevesettle 阅读(569) 评论(0) 推荐(0)

安装虚拟机(centos7)

摘要：安装VMware 15 这里就不介绍VMware如何安装了，可以自行百度安装。准备centos7镜像我选择的是网易的镜像源，地址是：http://mirrors.163.com/centos/7/isos/x86_64/ 选择第二个进行下载安装向导 VMware选择创建虚拟机自定义硬件兼容阅读全文

posted @ 2020-09-15 21:14 Nevesettle 阅读(458) 评论(0) 推荐(1)

2020年9月12日

linux_vim

摘要：以vi打开一个文件就是一般模式，这个模式可以删除、复制、粘贴 yy 复制当前一行 y 数字y 复制几行（从光标位置开始） p 粘贴 u 恢复到最初的状态 dd 删除一行 d 数字 d 删除几行 x 向后删除一个字母 X 向前删除一个字母 shift+^ 移到行头 shift+$ 移动到行尾 gg 移阅读全文

posted @ 2020-09-12 09:33 Nevesettle 阅读(106) 评论(0) 推荐(0)

2020年8月29日

暑假第四周总结

摘要：本周学习了数据分析的另一个工具pandas，初步了解了pandas的应用和功能。阅读全文

posted @ 2020-08-29 15:34 Nevesettle 阅读(74) 评论(0) 推荐(0)

2020年8月24日

暑假第三周总结

摘要：本周继续学习了numpy，了解了一些常用的操作，并学会了使用numpy读取外部数据的方法。阅读全文

posted @ 2020-08-24 16:41 Nevesettle 阅读(78) 评论(0) 推荐(0)

2020年8月16日

暑假第二周总结

摘要：本周学习了python的数据分析中的另一个重要的工具numpy，学习了numpy的数组的相关知识。阅读全文