摘要： users.xml配置详解 <?xml version="1.0"?> <yandex> <profiles> <default> <max_memory_usage>10000000000</max_memory_usage> <!--单个查询最大内存使用量--> <max_memory_usag 阅读全文

摘要： config.xml配置文件详解 <?xml version="1.0"?> <yandex> <logger> <level>trace</level> <log>/var/log/clickhouse-server/clickhouse-server.log</log> <!-- 日志存放目录 阅读全文

摘要： client = SteamClient() # 获取对象 print(client.__dir__()) # 查看对象有什么属性 print(dir(client)) # 查看对象有什么属性 print(help(client)) # 查看对象信息 # ['cm_servers', 'connec 阅读全文

摘要： 1.放大内存限制 替换成 -Xms526m -Xmx2048m -XX:ReservedCodeCacheSize=240m -XX:+UseConcMarkSweepGC -XX:SoftRefLRUPolicyMSPerMB=50 -ea -Dsun.io.useCanonCaches=fals 阅读全文

摘要： 递归替换字典的键和值 def dict_del(obj): if isinstance(obj, dict): for k, v in obj.items(): if isinstance(k, bytes): obj[k.decode("utf-8", 'ignore')] = obj.pop(k 阅读全文

摘要： 显示 添加这几行代码 idea.max.intellisense.filesize = 200000 # 200000kb idea.max.content.load.filesize = 200000 # 200000kb idea.cycle.buffer.size = 200000 # 200 阅读全文

摘要： kafka基本命令行 kafka-topics.sh --zookeeper 192.168.104.91:2181,192.168.104.92:2181,192.168.104.93:2181 --create --topic events --partitions 3 --replicatio 阅读全文

摘要： Spark读取数据API spark.read.format("json").load(path) spark.read.format("text").load(path) spark.read.format("parquet").load(path) spark.read.format("json 阅读全文

摘要： Spark DataFrame常用API package com.imooc.bigdata.chapter04 import org.apache.spark.sql.{DataFrame, SparkSession} object DataFrameAPIApp { def main(args: 阅读全文

摘要： spark 词频统计 package com.imooc.bigdata.chapter02 import org.apache.spark.{SparkConf, SparkContext} /** * 词频统计案例 * 输入：文件 * 需求：统计出文件中每个单词出现的次数 * 1）读每一行数据 阅读全文