gentleman_hai

摘要： 1、背景： 在做spark history complete和incomplete测试的时候，我们使用spark-shell启动了一个on yarn的任务，如果我们只是启动了，没有进行任何计算的话，那么我们在incomplete里面是看读的任务的，退出的时候可以在complete中可以看到，那么为什 阅读全文

摘要： 1、hdfs web界面出现文件block丢失 2、block丢失的时候报的什么错？ hadoop fs -get /user/bizlogcenter/warehouse/eunomia/160/warnning/2019-02-26/10.149.32.154.log 19/04/12 21:0 阅读全文

摘要： Linux中time命令，我们经常用来计算 某个程序的运行耗时(real)， 用户态cpu耗时(user)， 系统态cpu耗时(sys)。 例如： 那么这三个时间都具体代表什么意思呢？ 1、real是什么 [1] real : 表示foo程序整个的运行耗时。可以理解为foo运行开始时刻你看了一下手表 阅读全文

摘要： 1、数字类型 根据字节数即可算出表示的范围了 TINYINT 1 字节 SMALLINT 2 个字节 MEDIUMINT 3 个字节 INT 4 个字节 INTEGER 4 个字节 BIGINT 8 个字节 FLOAT(X) 4 如果 X < = 24 或 8 如果 25 < = X < = 53 阅读全文

摘要： 这篇文章对我的作用很多，在维护大数据集群的时候经常会和java进程打交道，需要分析jvm是否使用合理。 参考链接：https://www.jianshu.com/p/5ace2a0cafa4 1、前言 JVM的GC机制让Java程序员省去了自己垃圾回收的烦恼，大大提高了生产效率。但是正因为JVM垃圾 阅读全文

摘要： Django里面的User、login、logout、authenticate模块讲解 1、User模块相关知识 user模型各个字段的说明 属性 描述 Id int类型，数据表主键 Password varchar类型，代表用户密码，在默认情况下使用pbkdf2_sha256方式来存储和管理用户的 阅读全文

摘要： 1、定义数据库 在Django项目中，一个工程中存在多个app应用很常见，希望不同的app连接不同的数据库，这个时候需要建立多个数据库连接。 在Django的setting中使用DATABASE设置定义数据库，可以将数据库映射到特定的别名字典中 DATABASE定义的是给嵌套字典，该设置必须设置de 阅读全文

摘要： Centos7 编译安装Clickhouse 1、检查是否支持SSE4.2 grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported" 2、安装依赖项 yum install git 阅读全文

摘要： get和filter()的区别。 1、get 输入参数：get的参数只能是model中定义的哪些字段，只支持严格匹配。 Entry.objects.get(id='foo') # raises Entry.DoesNotExist 返回参数：get 返回值是一个定义的model对象，只有一条记录返回 阅读全文

摘要： python2的时候 python3的时候 阅读全文