随笔分类 -  Hadoop

大数据的简单学习。
摘要:[toc] # 使用Finalshell作为连接机器 ## 界面 可以将命令保存在finalshell里,这样就不用每次都输入命令,最好是将Hadoop配置到环境变量里,减少命令的长度与复杂度。 ![image-20230621165216800](https://img2023.cnblogs.c 阅读全文
posted @ 2023-06-21 18:12 信2005-2刘海涛 阅读(102) 评论(0) 推荐(0)
摘要:[toc] # 北京市政百姓信件分析实战 ## 1.爬虫 ```python import json import requests import demjson from bs4 import BeautifulSoup import jieba import jieba.analyse as a 阅读全文
posted @ 2023-06-21 18:12 信2005-2刘海涛 阅读(350) 评论(0) 推荐(0)
摘要:今天在使用Hadoop的过程中需要用到运行jar包,特此记录一下命令的使用方法: hadoop jar 包名(/export/data/hadoop-3.3.0/classes/test-1.0-SNAPSHOT.jar) java类的路径(org.example.quick_start.WordC 阅读全文
posted @ 2022-10-31 20:12 信2005-2刘海涛 阅读(145) 评论(0) 推荐(0)
摘要:前几天建民老大给我们进行了第二次的Hive测试,很遗憾,题目很简单,但是我一下午一项都没实现。 而导致我最终也没实现的原因,就是sqoop的一些配置的问题。 因为建民老大说要在mysql里清洗数据,然后上传到Hive里,我请洗完之后就开始按照模板语句上传到Hive,但是一直报错,看教程说要把Hive 阅读全文
posted @ 2022-10-20 13:09 信2005-2刘海涛 阅读(92) 评论(0) 推荐(0)
摘要:今天正式开始第一天的Hadoop数据库的学习。 阅读全文
posted @ 2022-08-09 22:48 信2005-2刘海涛 阅读(41) 评论(0) 推荐(0)