乌云散尽

摘要： 简单记录一下问题和解决方法 doris,spark-doirs-connector Reason: actual column number in csv file is more than schema column number.actual number: 26, schema column 阅读全文

摘要： 代理服务器方面CCProxy介绍 代理服务器CCProxy于2000年6月问世，是国内最流行，下载量最大的的国产代理服务器软件。主要用于局域网内共享上网以及对共享上网用户的监控 只要局域网内有一台机器能够上网，并且在这台机器上安装CCProxy软件;那么其他机器就可以通过这台机器来实现代理共享上网。 阅读全文

摘要： 建模相关资源网站 https://kmgy.top/doc/273/# java知识 https://zq99299.github.io/note-architect/ 阅读全文

摘要： 可以实际使用的 public static void main(String[] args) { // 身份认证 Session session = authorUser(); // 收件人电子邮箱 String from = "邮箱"; // 发件人电子邮箱 String to = "邮箱"; s 阅读全文

摘要： 以往的印象里面，实现附件上传需要有附件在磁盘里面存在（可能是见识浅薄），想着怎么去优化一下，避免落盘，就引入了这种方式，实现很容易，只是没有实践过，实践导致认知限制 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifact 阅读全文

摘要： 1. 核心概念理解 #location匹配命令 # ~ 表示执行一个正则匹配，区分大小写 # ~* 表示执行一个正则匹配，不区分大小写 # ^~ 表示普通字符匹配，如果该选项匹配，只匹配该选项，不匹配别的选项，一般用来匹配目录 # = 进行普通字符精确匹配 # @ 定义一个命名的location，使 阅读全文

摘要： 天气预警信息与某地热榜车排名 import scrapy import time import json import copy class WeatheralarmSpider(scrapy.Spider): name = 'WeatherAlarm' allowed_domains = ['we 阅读全文

摘要： http请求hutool,json转换 数据写入到rdd，之后转换为sparksql SparkSession spark = SparkSession.builder().master("yarn").appName("json2hive") .config("hive.exec.dynamic. 阅读全文

摘要： hive写入star，csv格式的streamload 注意字符串中的转移字符直接拼接\n而要显示\\是非转义字符 public class GcyDataTrans { private static String STARROCKS_HOST = "IP"; private static Stri 阅读全文

摘要： 安装scrapyd服务 pip install scrapyd -i https://pypi.tuna.tsinghua.edu.cn/simple 官方文档 安装 pip install scrapyd-client 官方文档 scrapy-deploy 部署建setup.py from set 阅读全文