随笔分类 -  阿里云ECS

搭建了一个阿里云ECS大数据环境,相关学习笔记。
摘要:Maven依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>3.1.3</version> </dependency> < 阅读全文
posted @ 2020-07-10 14:52 Tanglement 阅读(293) 评论(0) 推荐(0)
摘要:类学习 Configuration 设置HDFS的相关参数。 conf = new Configuration (); conf.set("fs.defaultFS","hdfs://bigdata:9000"); conf.set("dfs.client.use.datanode.hostname 阅读全文
posted @ 2020-07-09 10:11 Tanglement 阅读(862) 评论(0) 推荐(0)
摘要:添加Maven依赖 一般来说只要有hbase-clientJAR包就好,毕竟我们是客户端远程访问HBase。 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --> <depen 阅读全文
posted @ 2020-07-07 17:51 Tanglement 阅读(848) 评论(0) 推荐(0)
摘要:原本是配置了阿里云ECS服务器,但是用终端vim修改调试代码,总是会不方便。 后面想到有两种解决办法: 用本地IDEA调试代码,然后直接连接服务器的HDFS等端口,直接调试 用本地IDEA调试代码,然后打包,发到服务器上进行运行 下面是IDEA访问服务器hadoop的一个测试,以及遇到的问题和解决方 阅读全文
posted @ 2020-07-05 10:57 Tanglement 阅读(630) 评论(1) 推荐(0)
摘要:背景 原本自己都是使用笔记本的虚拟机来搭建大数据环境,调试代码,运行项目。但自己的笔记本是13寸的,屏幕很小,经常由于要打开多个终端,同时辅以网页,造成小小的屏幕里有很多窗口,体验极差。 有想过通过外接大显示屏来解决,但显示屏固定连接了自己的游戏本。等于宿舍里操作游戏本,实验室操作台式机,平时背着轻 阅读全文
posted @ 2020-07-03 15:07 Tanglement 阅读(665) 评论(0) 推荐(1)