ZHTS

摘要： 设置datax java 堆栈内存大小python datax.py --jvm="-Xms5G -Xmx5G" 编译插件mvn -U clean package assembly:assembly -Dmaven.test.skip=true 阅读全文

摘要： 这个情况是hive不去检查已经分区的内容也就是分区在hive元空间中未注册； 那么MSCK REPAIR TABLE tablename 就可以解决这个问题 另外，动态分区参数 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.p 阅读全文

摘要： 有时需要在airflow中运行如sshpass远程免密登录调度指令的 所需元素 1、包：from airflow.contrib.operators.ssh_operator import SSHOperator 2、bash sh_bash = ''' sshpass -p ‘XXXXXX’ ss 阅读全文

摘要： 存在问题主要集中在对hdfs文件的上传、下载、转移等操作；其中对配置文件进行了确认不存在问题， 初步估计主要在底层封装hadoop 命令这块存在着问题。 现在AWS正在升级，新版本将在5月底完成，届时可以用新版本。 阅读全文

摘要： 1、至ftp://ftp.unixodbc.org/pub/unixODBC/页面下载比较新的unixODBC-2.3.7.tar.gz 在你所选的目录下进行解压 tar -zxvf unixODBC-2.3.7.tar.gz cd unixODBC-2.3.7 ./configure --pref 阅读全文

摘要： 结局方法 将create_engine("oracle+cx_oracle://账号 :密码@ip:端口 /service name", **engine_kwargs) 阅读全文

摘要： 出现这样的问题oracle一直报错64-bit Oracle Client library cannot be loaded: "libclntsh.so: cannot open shared object file 未安装异步io，未建立软连接，未配置好环境变量 因此在常规（以12.2为例子）的 阅读全文

摘要： 最近楼主在aws上拉了hdoop集群，其中有装jupyterhub， 发现登录jupyter不知账号和密码，研究发现在/etc/jupyter/conf目录下 的jupyterhub_config.py中 c.Authenticator.admin_users = {'jovyan'} 发现主账号， 阅读全文

摘要： 楼主在这整了一段时间，部署了一个airflow分布式部署。两台机器 一个scheduler worker 另外一个worker；正常启动安装两台在相同用户相同路径下相同版本的airflow数据库使用mysql、消息broker使用redis，backend使用mysql；注意要点：时区、页面缓存、双 阅读全文

摘要： OperationalError: (_mysql_exceptions.OperationalError) (2006, 'MySQL server has gone away')[SQL: SELECT celery_taskmeta.id AS celery_taskmeta_id, cele 阅读全文