醉生梦死_0423 - 博客园

2022年1月

摘要： //20220110 本篇用于记录hadoop2.3.9解压之后无法启动 & 启动之后无法建表的问题问题描述问题1 在官网下载hive之后，拷贝到本地，解压，进入bin目录用hive启动，此时报出如下错误出现原因：hadoop和hive 对应的guava文件版本不一致，hadoop guava 阅读全文

posted @ 2022-01-10 22:13 醉生梦死_0423 阅读(852) 评论(0) 推荐(0)

2021年12月

大数据学习笔记（持续更新）

摘要：大数据学习笔记（持续更新）写在前面：本博客是用于记录以及总结大数据学习过程中的笔记，会持续更新 20211206更新 HDFS的实现思想： hdfs是通过分布式集群（一个文件会被分成许多块，每一块可能不在同一个主机上）来存储文件，为客户端提供了一个便捷的访问方式（客户端不需要知道文件散落在哪里，只阅读全文

posted @ 2021-12-06 11:36 醉生梦死_0423 阅读(257) 评论(0) 推荐(0)

Hadoop3.0.0以上版本访问WebUI默认端口从50070改为9870

摘要：如题访问50070是访问不到的，改设置也访问不到是因为默认端口改成了9870 （有一些老的教学视频里用的是50070，但是什么都配置好了就是访问不到，遂查看端口监听情况==>netstat -tlnup，发现没有50070，遂一个个尝试允许所有ip访问且后面程序为java的端口，发现9870可用阅读全文

posted @ 2021-12-01 15:09 醉生梦死_0423 阅读(995) 评论(0) 推荐(1)

2021年5月

leetcode动态规划题组笔记以及总结（持续更新）

摘要： date：20210520 No：1025 title：除数博弈 description: 爱丽丝和鲍勃一起玩游戏，他们轮流行动。爱丽丝先手开局。最初，黑板上有一个数字 N 。在每个玩家的回合，玩家需要执行以下操作：选出任一 x，满足 0 < x < N 且 N % x == 0 。用 N - 阅读全文

posted @ 2021-05-20 12:30 醉生梦死_0423 阅读(159) 评论(0) 推荐(1)

leetcode 65题——有效数字_自动机解_java实现

摘要： leetcode 65题——有效数字_自动机解_java实现 //20210508 写在前面：今天刷leetcode刷到的题目，一开始用暴力写逻辑，漏洞百出，遂放弃，去看题解，发现使用自动机做（编译原理知识），实现之后觉得挺有意思（确实也是我不会的东西），所以在这里记录一下自动机逻辑：将系统中可阅读全文

posted @ 2021-05-08 22:42 醉生梦死_0423 阅读(100) 评论(0) 推荐(0)

2021年3月

windows端hadoop项目编写java程序操纵远程hadoop集群报错（集合，分几个阶段才解决的）

摘要： //20210326 写在前面：今天学习hadoop“使用java调用api操作hadoop集群”阶段，在linux上运行代码很顺畅，maven和jar包一加，就运行成功了，但是迁移到windows上面就一堆问题（因为生产环境服务器肯定没有可视化界面，都是要本地jar包上传的），经过查阅资料，多次尝阅读全文

posted @ 2021-03-26 22:12 醉生梦死_0423 阅读(198) 评论(0) 推荐(0)

Hadoop安装好之后使用jar运行mapreduce内置程序的时候报错

摘要： //20210309 写在前面：安装好hadoop之后，试着运行mapreduce内置的pi程序，发现报错，在此记录一下排除并修复bug的过程正文问题起因：mapreduce运行内置pi程序的时候报出如下错误：一开始我以为是需要科xue上网，科xue上网之后问题并没有解决，然后我意识到一个问题阅读全文

posted @ 2021-03-09 23:08 醉生梦死_0423 阅读(364) 评论(0) 推荐(0)

Hadoop安装配置好之后启动无效

摘要： //20210305 写在前面：今天配置好了伪分布式hadoop，启动之后发现jps无相关进程，遂在网上查找资料，无果，后来查看logs日志文件，发现报错，再次查找资料，发现是主机名问题，更改再次启动，成功！在此记录一下问题描述 Hadoop安装配置好之后启动start-dfs.sh打印出启动信息阅读全文

posted @ 2021-03-05 22:07 醉生梦死_0423 阅读(538) 评论(0) 推荐(0)

Hadoop启动start-dfs.sh报出Permission denied错误

摘要： //20210304 写在前面：今天学Hadoop安装配置（伪分布式），改完配置文件启动start-def.sh的时候，报了Permission denied（publickey,gssapi-keyex,gssapi-with-mic,password）错误，在网上查找资料，确定问题出在公钥上，遂阅读全文

posted @ 2021-03-04 22:42 醉生梦死_0423 阅读(10001) 评论(1) 推荐(2)

Centos 7更改主机名

摘要： //20210303 写在前面：学大数据的时候需要更改主机名字，按照教程上面吧etc/sysconfig下的network中的HOSTNAME更改之后重启系统（或者注销重新登录）之后并无变动，遂百度，最后得知Centos 7比以往的系统变动较大，更改对应文件之后，成功变动主机名，在此记录一下正文阅读全文

posted @ 2021-03-03 20:25 醉生梦死_0423 阅读(155) 评论(0) 推荐(0)

公告