摘要：
使用dir(obj) 这将输出所有属性和方法 from io import BytesIO f=BytesIO() print('object:',f) print('details:',dir(f)) 输出 object: <_io.BytesIO object at 0x104168e08> d 阅读全文
2020年12月23日
2020年12月21日
摘要：
logging函数根据它们用来跟踪的事件的级别或严重程度来命名。标准级别及其适用性描述如下（以严重程度递增排序）： 级别何时使用 DEBUG 详细信息，一般只在调试问题时使用。 INFO 证明事情按预期工作。 WARNING 某些没有预料到的事件的提示，或者在将来可能会出现的问题提示。例如：磁盘空间 阅读全文
2020年12月17日
摘要：
HDFS适合做： 存储大文件。上G、T甚至P。 一次写入，多次读取。并且每次作业都要读取大部分的数据。 搭建在普通商业机群上就可以了。虽然会经常宕机，但HDFS有良好的容错机制。 HDFS不适合做： 实时数据获取。如果有这个需求可以用HBase。 很多小文件。因为namenode要存储HDFS的me 阅读全文
2020年12月16日
摘要：
java 版本太高 降低jdk版本 阅读全文
2020年12月8日
摘要：
import org.apache.log4j.{Level, Logger} object MySparkApp { def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Leve 阅读全文
2020年11月27日
摘要：
1、In Eclipse go to Run > Run Configurations... > Arguments > VM arguments and set max heapsize like -Xmx512m. 2、idea 同样 3、Intellij IDEA运行报Command line 阅读全文
2020年11月17日
摘要：
创建一个文件夹 hdfs dfs -mkdir /myTask 创建多个文件夹 hdfs dfs -mkdir -p /myTask1/input1 上传文件 hdfs dfs -put /opt/wordcount.txt /myTask/input 查看总目录下的文件和文件夹 hdfs dfs 阅读全文
摘要：
问题： 1、 Java installed version: 1.8.0_231 Hadoop installed version: Hadoop 3.2.1 But after running command hdfs namenode -format I'm getting following 阅读全文
摘要：
hadoop. maven 这么用最好用 1、 F:\ruan_java_home mklink /J F:\ruan_java_home “C:\Program Files (x86)\Java\jdk1.8.0_202” mklink /J "e:\test" "f:\test" "e:\tes 阅读全文
2020年10月10日
摘要：
^(.*?)$\s+?^(?=.*^\1$) 参考正则表达式语法： https://www.runoob.com/regexp/regexp-syntax.html 阅读全文