爱上编程技术

摘要： 以下是conda的常用命令和参数： 1. 创建虚拟环境： - 创建一个新的虚拟环境：conda create -n 环境名 python=x.x - 使用指定的依赖文件创建虚拟环境：conda create -n 环境名 --file requirements.txt 2. 激活虚拟环境： - 在W 阅读全文

摘要： history命令添加时间和IP及用户名 1，添加显示时间 （1）,在/etc/profile 添加如下：（显示用时间+ip+用户名） USER_IP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'` #此处的值需要用反撇 阅读全文

摘要： 1，环境介绍： OS：CentOS Linux release 7.6.1810 (Core) tinyproxy 版本：Release 1.11.1 ps:1.10版本后支持设置用户密码，类似squid 2，直接安装： #先执行源更新操作，更新源才能找得到tinyproxy yum install 阅读全文

摘要： 1，环境介绍： OS：CentOS Linux release 7.6.1810 (Core) tinyproxy 版本：Release 1.11.1 ps:1.10版本后支持设置用户密码，类似squid 2，安装步骤，配置文件，启动： 官网及下载地址：​​​​​​ ​https://github. 阅读全文

摘要： 1，确定仓库里是否有supervisor的包： yum list | grep supervisor 如果没有就优化更新下yum源： yum makecache fast yum install -y epel-release 2，然后安装： yum install -y supervisor 安装 阅读全文

摘要： 【亲测有效】离线环境下迁移conda env 虚拟环境，在新的环境下不用有任何python环境，不拥有conda环境 Conda Pack Conda-pack 是一个命令行工具，用于打包 conda 环境，其中包括该环境中安装的软件包的所有二进制文件。 当您想在有限或没有网络访问的系统中重现环境时 阅读全文

摘要： 简介 Hive从0.7.0版本开始加入了索引，目的是提高Hive表指定列的查询速度。没有索引的时候，Hive在执行查询时需要加载整个表或者整个分区，然后处理所有的数据，但当在指定列上存在索引，再通过指定列查询时，那么只会加载和处理部分文件。此外，同传统关系型数据库一样，增加索引在提升查询速度的同时， 阅读全文

摘要： Hive表优化 小表、大表join 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce。 实际测试发现：新版的hive已经对小表JOIN大表和大表JOI 阅读全文

摘要： hive原理不多说了。 hive版本：hive-common-1.1.0-cdh5.16.2.jar Hive设置配置参数的方法 Hive提供三种可以改变环境变量的方法，分别是： （1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件； （2）、命令行参数； （3）、在已 阅读全文

摘要： 查询表结构: DESC table ALL; desc table; 查询版本号： select version(); // mysql 的版本？ 查询分区信息： SHOW TEMPORARY PARTITIONS FROM table_name; //临时分区SHOW PARTITIONS FRO 阅读全文