随笔分类 -  云计算/大数据

Redis cluster 扩容与缩容
摘要：Redis群集TCP端口 每个Redis集群节点都需要两个开放的TCP连接：一个用于服务客户端的Redis TCP端口，例如6379，以及第二个称为集群总线端口的端口。默认情况下，集群总线端口是通过将10000添加到数据端口（例如16379）来设置的；但是，您可以在集群端口配置中覆盖它。 集群总线是 阅读全文
posted @ 2022-12-02 18:06 feifei97 阅读(206) 评论(0) 推荐(0)
Redis安装与测试
摘要：①安装，直接安装版本为4.0.1 sudo apt-get install redis-server 启动： redis-server redis-cli 测试： ②新建Student表 ③查看zhangsan信息 ④查看zhangsan的English成绩 ⑤修改lisi的Math成绩为88 hs 阅读全文
posted @ 2019-04-30 16:35 feifei97 阅读(254) 评论(0) 推荐(0)
Hbase的安装与测试
摘要：实验环境 虚拟机伪分布式 Ubuntu 17.10 JDK 1.8 Hadoop 2.7.6 Hbase 1.3.3 ①安装和配置HBase。 首先从官网http://archive.apache.org/dist/hbase/下载HBase安装包，为了兼容性，这里选择HBase-1.3.3。然后解 阅读全文
posted @ 2019-04-30 14:48 feifei97 阅读(1095) 评论(0) 推荐(0)
hadoop中常用的hdfs代码操作
摘要：一：向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件： 1 package hadoopTest; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apach 阅读全文
posted @ 2018-12-06 11:17 feifei97 阅读(1090) 评论(0) 推荐(0)
ubuntu安装nginx与配置
摘要：命令行安装：（当前时间为2018.11，版本为1.10.3） 安装好的文件位置： 查找Nginx启动文件路径 find / -name nginx.conf 查询nginx进程 ps -ef | grep nginx 重启nginx sudo nginx -s reload 查看是否能够访问： 浏览 阅读全文
posted @ 2018-11-15 11:28 feifei97 阅读(5438) 评论(0) 推荐(0)
安装SSH，配置SSH无密码登陆
摘要：环境：ubuntu16.04 Ubuntu 默认已安装了 SSH client，所以我们还需要安装 SSH server： sudo apt-get install openssh-server 安装完成后，登陆本机： ssh localhost 输入一个yes 即可看到界面 设置无密码登陆： 首先 阅读全文
posted @ 2018-08-29 17:25 feifei97 阅读(515) 评论(0) 推荐(0)
MapReduce Kmeans算法含测试数据
摘要：使用时，需要修改K值，args值 运行流程： 先初始化中心点->map中和距离最近的中心点生成一对传入reduce->reduce中把相同key值的存到一起->更新中心点，计算和上一次的结果偏差是否达到要求，没有的话继续迭代 因为一般来说都是读取文件操作，所以使用String操作更方便 packag 阅读全文
posted @ 2018-06-07 21:28 feifei97 阅读(403) 评论(0) 推荐(0)
在eclipse中使用hadoop插件
摘要：我的配置环境看我的上篇博文。 配置过程： （1）把插件放到eclipse/plugins目录下。（我的版本上一篇也有） （3）重启eclipse，配置Hadoop installation directory 如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop 阅读全文
posted @ 2018-05-31 17:44 feifei97 阅读(409) 评论(0) 推荐(0)
Hadoop在ubuntu下安装配置文件及出现问题
摘要：我的配置： 路径： hadoop /home/flyuz/hadoop jdk1.8.0_172 /opt/java/jdk1.8.0_172 eclipse /opt/eclipse 版本： ubuntu16.04 hadoop 2.7.6 jdk1.8.0_172 相关软件从官网下载，安装Had 阅读全文
posted @ 2018-05-29 15:36 feifei97 阅读(1796) 评论(0) 推荐(0)