摘要:iconv命令是用来转换文件的编码方式的,比如它可以将UTF8编码的转换成GB18030的编码,反过来也行。 语法 iconv -f encoding [-t encoding] [inputfile]... 选项 -f encoding :把字符从encoding编码开始转换。 -t encodi
阅读全文
08 2020 档案
摘要:iconv命令是用来转换文件的编码方式的,比如它可以将UTF8编码的转换成GB18030的编码,反过来也行。 语法 iconv -f encoding [-t encoding] [inputfile]... 选项 -f encoding :把字符从encoding编码开始转换。 -t encodi
阅读全文
摘要:定义 跳表,,是一个随机化的数据结构,实质是一种支持类似“二分查找"进行改造的有序链表;使用二分查询时,底层依赖的是数组的随机访问特性,但是链表也可以实现类似的算法,在原有的有序链表上增加了多级索引,通过索引来实现快速查询。这就是跳表。 使用场景 Redis 中的有序集合(Sorted Set) 集
阅读全文
摘要:java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the s
阅读全文
摘要:资源影响因素 Spark和Yarn管理的资源限制因素: CPU 内存 磁盘 网络I/O Spark和Yarn管理的两个主要资源为CPU和内存,剩下不会主动管理,所以设置资源也是主要通过这两方面进行设置。 资源优化配置 在资源配置中,可以用过代码的设置sparkconf进行设置,或者在脚本里通过参数进
阅读全文
摘要:简述 Spark应用程序在集群上会以独立的进程集运行,由SparkContext 主程序中的对象(驱动程序)协调。 程序要在集群上运行时,SparkContext可以连接到几种类型的集群管理器 (Spark自己的独立集群管理器Mesos或YARN),它们可以在应用程序之间分配资源。一旦连接上之后,S
阅读全文
|