摘要： 修复redis简单错误 CLUSTERDOWN Hash slot not served 1.遇到此错误时，执行下面步骤来修复： 检测 redis-cli --cluster check 127.0.0.1:7000 检测结果 [ERR] Not all 16384 slots are covere 阅读全文

摘要： 解决办法： 1以管理员身份打开anaconda prompt 下面遇到【y/n】直接回车，或者输入y 2、升级navigator：conda update anaconda-navigator 3、重置navigator：执行anaconda-navigator --reset 4、升级客户端：co 阅读全文

摘要： jupyter默认添加的虚拟环境只有Python3，我们需要将自己创建的tushare虚拟环境添加到创建的菜单下。 之前我们说了如何利用 conda 来创建 Python 的虚拟环境，这次我们想要在 Jupyter Notebook 中使用之前创建的虚拟环境。 添加虚拟环境到 Jupyter Not 阅读全文

摘要： Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包，Anaconda 的下载文件比较大（约 531 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含co 阅读全文

摘要： nodemanager/ratio yarn.nodemanager.resource.memory-mb 集群中某个计算节点分配给nodemanager的最大可用内存，这个最大可用内存不是该节点最大内存，而是该节点最大内存划分出来的给nodemanager使用的内存， 该配置项在集群启动后，无法动 阅读全文

摘要： 2019年的一篇旧文，内容中涉及版本相对陈旧，分享出来希望对大家有所帮助。 1. Atlas简介 简单说明一下元数据管理的重要性，做数仓的时候，自然就会有很多报表，当你有几百个报表，几千张表的时候，现在有个需求需要修改一个表，然后有人问你，修改这个表会影响哪些报表？ 如果你仅仅凭借记忆是完全不可行的 阅读全文

摘要： 业界流行的大数据权限管理框架Apache Sentry和Ranger。二者在功能上具有很高的相似性，但是在具体细节上上篇文章阐述的还不够细致。本文笔者来深入浅出地聊聊这两个框架，以及它们的少许异同点。熟悉掌握使用外部权限管理框架，并且将它们合理地应用于自身内部大数据组件系统内，无疑将会大大提高内部组件使用的安全性。 阅读全文

摘要： 突然觉得自己不知道如何工作了，没有思路，没有方法，没有目标，充满了巨大的不确定性，做起具体的事情（例如文档、技术研究等）好像是在逃避，不知道对自己的目标是否有帮助，不知道是否在正确的道路上。 讲起见贤思齐，说实话现在不清楚到底谁才是我的模板，也许leader就是，但我还没有找到路径，也不确定，我的信 阅读全文

摘要： 加入大厂 进入大厂的几个月时间，首先从个人的工作内容上较之前有较大的变化，前三个月因为新进适应期和不熟悉的缘故反倒没觉得自己有不适应，过了新人的阶段参加了新人培训，觉得自己熟悉了却有了一种强烈的不适感，无所适从，不知道如何发力。 工作内容变化 工作内容由原来的事情自己做，亲身参与实际解决具体问题，变 阅读全文

摘要： sftp 是一个交互式文件传输程式。它类似于 ftp, 但它进行加密传输，比FTP有更高的安全性。下边就简单介绍一下如何远程连接主机，进行文件的上传和下载，以及一些相关操作。 举例，如远程主机的 IP 是 202.206.64.33或者是域名www.hebust.edu.cn,用户名是 fyt ,在 阅读全文