06 2024 档案

Scarpy Demo
摘要：天气预警信息与某地热榜车排名 import scrapy import time import json import copy class WeatheralarmSpider(scrapy.Spider): name = 'WeatherAlarm' allowed_domains = ['we 阅读全文

posted @ 2024-06-28 14:34 小人物LOWER 阅读(36) 评论(0) 推荐(0)

Spark读取http数据写入hive
摘要：http请求hutool,json转换 数据写入到rdd，之后转换为sparksql SparkSession spark = SparkSession.builder().master("yarn").appName("json2hive") .config("hive.exec.dynamic. 阅读全文

posted @ 2024-06-07 11:14 小人物LOWER 阅读(88) 评论(0) 推荐(0)