环境搭建与运维 - 随笔分类 - 大码王

docker安装和卸载教程

摘要：1. Docker 安装 1. yum包更新到最新 yum update 2. 安装需要的软件包，yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的 yum install -y yum-utils device-mapper-per 阅读全文

posted @ 2023-04-03 08:34 大码王阅读(337) 评论(0) 推荐(0) 编辑

centos7获取IP地址的两种方法

摘要：一、centos7获取IP地址的两种方法动态获取IP 设置静态IP地址二、动态获取IP（不推荐使用） 1、使用 ip addr命令查看查看网卡名和是否有网络，获知网卡名为ens33。 2、输入vi /etc/sysconfig/network-scripts/ifcfg-ens33 ，修改ifc 阅读全文

posted @ 2023-04-01 08:51 大码王阅读(12483) 评论(0) 推荐(0) 编辑

Python及PyCharm的环境搭建（PyCharm专业版破解与安装）

摘要：Python及PyCharm的环境搭建一、安装Python解释器官网下载地址：https://www.python.org/，以Windows为例。 1.点击Downloads—>All releases >点击Python3.9.0 2.下载完成后，双击python-3.9.0-amd64.e 阅读全文

posted @ 2022-08-31 10:38 大码王阅读(495) 评论(0) 推荐(0) 编辑

在IDEA中的maven项目中开发scala项目

摘要：在maven项目中，怎么写Scala项目呢？下面是具体步骤，希望能帮到你哦 1.新建一个Maven项目 2.新建文件夹scala，并且将文件夹设置为resource root 3.添加scala library 4.添加scala插件，前提是先在settings-plugins中下载安装哦(附步骤) 阅读全文

posted @ 2022-07-01 11:50 大码王阅读(704) 评论(0) 推荐(0) 编辑

MAVEN项目依赖外部JAR进行打包的两种方式

摘要：前言第三方jar包在开发工具中引入后编译没问题, 启动调试包括打包时会提示找不到jar包的错误.需要上传到maven仓库中,并在pom文件内引入. 导入jar包点击Project Structure进行项目设置，在Modules中Dependencies标签中点击+号添加lib下的所有jar 阅读全文

posted @ 2022-05-13 11:09 大码王阅读(2110) 评论(0) 推荐(0) 编辑

Shell 脚本大全之检测两台服务器指定目录下的文件一致性

摘要：#!/bin/bash ###################################### 检测两台服务器指定目录下的文件一致性 ##################################### #通过对比两台服务器上文件的md5值，达到检测一致性的目的 dir=/data/we 阅读全文

posted @ 2022-04-27 20:45 大码王阅读(316) 评论(0) 推荐(0) 编辑

window下安装clickhouse

摘要：导读随着互联网技术的发展，海量数据已经成为公司决策分析的重要来源，ClickHouse有着大数据入门和低学习成本(支持SQL)的优势，故开启了第一篇环境搭建。希望能降低ClickHouse的入门门槛。环境及工具 Windows10专业版(64位)：Windows其他版本可能会有其他问题，建议使用阅读全文

posted @ 2021-09-23 10:05 大码王阅读(3719) 评论(0) 推荐(1) 编辑

大数据运维（67）pytorch安装及基本使用(win10+CPU+Python3.6)

摘要：pytorch这两年越来越流行，定义网络结构简单，而且还很直观灵活，数据加载快。一、安装登陆pytorch官网。选择合适的环境：运行安装命令： pip3 install https://download.pytorch.org/whl/cpu/torch-1.1.0-cp36-cp36m-w 阅读全文

posted @ 2020-12-15 10:22 大码王阅读(491) 评论(0) 推荐(0) 编辑

大数据运维（66）PyTorch GPU环境配置及安装

摘要：0. 前言在计算机领域学习，最烦的一件事，就是安装软件，环境配置。而且，恰恰不如意的是，它还是你学习进程的第一关。第一关就出现大Boss。这样，超级容易打击学习的动力。所以，在我看来，入门的话，一定要快，要不求甚解，先把握整体。所以，我的教程安排顺序和一些方法，不同于其他千篇一律的教程，其中也许阅读全文

posted @ 2020-12-11 16:26 大码王阅读(680) 评论(0) 推荐(0) 编辑

大数据集群运维（65）tensorflow-gpu在win10下的安装教程

摘要：参考：https://blog.csdn.net/gyp2448565528/article/details/79451212 按照原博主的方法在自己的机器上会有一点小错误，下面的方法略有不同环境：win10 64位系统，带nVidia显卡在https://www.geforce.com/har 阅读全文

posted @ 2020-11-11 10:20 大码王阅读(203) 评论(0) 推荐(0) 编辑

大数据集群运维（64）Airflow安装教程

摘要：1.安装环境 CentOS-6.5 Python-2.7.12 setuptools-29.0.1 pip-9.0.1 2.编译Python sudo yum install -y gcc sudo yum install -y gcc-c++ sudo yum install -y wget su 阅读全文

posted @ 2020-11-06 09:55 大码王阅读(473) 评论(0) 推荐(0) 编辑

大数据集群运维（63）IDEA类和方法的注释设置

摘要：目录目录生成类注释生成类注解模板生成方法注释生成方法注解模板最近从eclipse转idea了，第一步当然是配置快捷键，模板等。但是！发生了一件贼蛋疼的事情，竟然一直找不到正确添加方法注释的方法！最后自己摸索到了，在此详细记录，供大家参考。测试版本为idea for mac，可能快捷键阅读全文

posted @ 2020-11-05 17:05 大码王阅读(124) 评论(0) 推荐(0) 编辑

大数据集群运维（62）pycharm2020安装破解方法

摘要：一：前期准备 1.PyCharm官网下载链接（选择2020.1版本下载）：https://www.jetbrains.com/pycharm/download/other.html PyCharm安装教程可以参考：这篇博客（虽然版本不同，但是安装方式基本不变）：https://www.cnblogs 阅读全文

posted @ 2020-11-02 14:17 大码王阅读(366) 评论(0) 推荐(0) 编辑

大数据运维（61）Linux环境安装PostgreSQL-10.1

摘要：环境及资源 Linux版本：CentOS release 6.5 PostgresSQL版本：postgresql-10.1 PostgreSQL官网下载地址：https://www.postgresql.org/ftp/source/v10.1/ 我下载的是postgresql-10.1.tar. 阅读全文

posted @ 2020-10-12 10:09 大码王阅读(112) 评论(0) 推荐(0) 编辑

大数据运维（60）Hive on Spark配置

摘要：1. 版本兼容 Hive on Spark仅使用特定版本的Spark进行测试，因此只能确保给定版本的Hive与特定版本的Spark一起使用。其他版本的Spark可能与给定版本的Hive一起使用，但这不能保证。下面是Hive版本列表及其相应的兼容Spark版本。 Hive VersionSpark V 阅读全文

posted @ 2020-10-10 17:29 大码王阅读(609) 评论(0) 推荐(0) 编辑

大数据运维（59）最全的大数据工具

摘要：本文除了一些常用的大数据工具，还总结汇总了其他大数据工具，几乎是最全的大数据工具的总结。如果你想入门大数据，可以对他们进行简单的了解。如果你想学习自己熟悉意外的大数据工具，可以看这篇文章。如果你想选择一个适合自己公司的大数据工具，也可以参考这篇文章。我们将针对大数据开源工具不同的用处来进行分阅读全文

posted @ 2020-10-10 17:12 大码王阅读(1192) 评论(0) 推荐(1) 编辑

大数据运维（58）Tableau安装与破解

摘要：1，下载文件链接: https://pan.baidu.com/s/1kPXcOqU5QN-C19UjF3dEfg 提取码: a2j2 （注：该下载链接是网上找的，如有版权问题等，请私信我删除，里面有2018.2与10.5两个版本任意一个都行）也可以在网上下载其他版本， 2，安装过程解压之后阅读全文

posted @ 2020-10-10 16:01 大码王阅读(1124) 评论(0) 推荐(0) 编辑

大数据运维（57）平台搭建（hadoop+spark+zeppelin）（一）

摘要：随着信息化时代的加深，国家人力资源和社会保障部新规定了13个新型职业，大数据工程技术人员赫然在列，下面我将从一个初学者的态度，搭建我们的大数据平台。系统和软件版本如下：软件相应版本操作系统 CentOS 6.7 JAVA JDK 1.8.0.131 SCALA SCALA 2.11.2 Hado 阅读全文

posted @ 2020-10-10 15:57 大码王阅读(443) 评论(0) 推荐(0) 编辑

大数据运维（56）zeppelin环境搭建及连接hive使用

摘要：一、准备工作 1.zepeelin简介 Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。后台支持接入多种数据处理引擎，如spark，hive等。支持多种语言： Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive 阅读全文

posted @ 2020-10-10 15:07 大码王阅读(1990) 评论(0) 推荐(0) 编辑

大数据运维（55）zeppelin 配置安装与mysql解析器

摘要：Zeppelin是什么？ 1.1 概述 Zeppelin是基于 Notebook技术开发的大数据交互分析服务软件,可以基于Web界面组合多个大数据分析引擎的处理能力,并内置提供了基于Web的可视化界面,可以连接几乎所有的Apache大数据处理服务系统。 1.2 功能 Zeppelin可以满足你的数据阅读全文

posted @ 2020-10-10 14:54 大码王阅读(688) 评论(0) 推荐(0) 编辑

随笔分类 - 环境搭建与运维

公告