摘要: 详细步骤解析: List itemclient发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传; client请求第一个block该传输到哪些DataNode服务器上; NameNode根据配置文件中指定的备份数量及机架 阅读全文
posted @ 2022-01-11 13:51 wqbin 阅读(3) 评论(0) 推荐(0) 编辑
摘要: zookeeper is not a recognized option 创建消费者时候报错: .\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic ads_log zookeeper is not a 阅读全文
posted @ 2022-01-03 12:43 wqbin 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 查看 (base) [root@VM-12-17-centos test]# vim /etc/sysctl.conf 添加代码:net.ipv4.ip_forward=1 也有人说下面这个文件:反正我试试了没啥用 (base) [root@VM-12-17-centos test]# vim /u 阅读全文
posted @ 2021-12-21 22:04 wqbin 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 但是我们的Dokerfile 非常简单,那么这些多出来的内容是从哪里来的呢。 发现Docker Client会默认发送Dockerfile同级目录下的所有文件到Dockerdaemon中 解决办法有两种: 1.创建.dockerignore文件,把不需要的文件写到里面,该文件包含的目录不会被发送到D 阅读全文
posted @ 2021-12-21 21:47 wqbin 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 查看用户 root@fff52596cfa9:/# cat /etc/passwd root:x:0:0:root:/root:/bin/bash daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin bin:x:2:2:bin:/bin:/usr/sbin 阅读全文
posted @ 2021-12-21 13:48 wqbin 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 需要安装Java-1.X.X-openjdk-devel [root@ls java]# yum install java-1.8.0-openjdk-devel.x86_64 Failed to set locale, defaulting to C Loaded plugins: langpac 阅读全文
posted @ 2021-12-18 18:41 wqbin 阅读(21) 评论(0) 推荐(0) 编辑
摘要: Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销,尤其是执行的job包含有成百上千task任务的情况。JVM重用可以使得JVM实例在同一个job中重新使用N次。 N的值可以在Hadoop的mapred-site.xml文件中进行配 阅读全文
posted @ 2021-12-01 11:06 wqbin 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 简介 从Oracle8i开始Oracle提供采样表扫描特性。 Oracle访问数据的基本方法有: 1.全表扫描 2.采样表扫描 3.全表随机读取 全表扫描(Full table Scan) 全表扫描返回表中所有的记录。执行全表扫描,Oracle读表中的所有记录,考查每一行是否满足WHERE条件。Or 阅读全文
posted @ 2021-07-09 11:23 wqbin 阅读(64) 评论(0) 推荐(0) 编辑
摘要: mongodb+pool多进程 在启动时会有如下提示: /home/kk/python3.6_kk/lib/python3.6/site-packages/pymongo/topology.py:145: UserWarning: MongoClient opened before fork. Cr 阅读全文
posted @ 2021-04-16 14:32 wqbin 阅读(67) 评论(0) 推荐(0) 编辑
摘要: HIve系统默认分隔符。通常下面2中情况我们需要需要用到分隔符 1,制作table的输入文件,有时候我们需要输入一些特殊的分隔符 2,把hive表格导出到本地时,系统默认的分隔符是^A,这个是特殊字符,直接cat或者vim是看不到的 分隔符在HIVE中的用途 分隔符 描述 \n 对于文本文件来说,每 阅读全文
posted @ 2021-04-09 18:11 wqbin 阅读(815) 评论(0) 推荐(0) 编辑