……

随笔分类 -  环境搭建与运维

大数据+人工智能+云计算运维
docker安装和卸载教程
摘要:1. Docker 安装 ​ 1. yum包更新到最新 yum update ​ 2. 安装需要的软件包,yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的 yum install -y yum-utils device-mapper-per 阅读全文
posted @ 2023-04-03 08:34 大码王 阅读(337) 评论(0) 推荐(0) 编辑
centos7获取IP地址的两种方法
摘要:一、centos7获取IP地址的两种方法 动态获取IP 设置静态IP地址 二、动态获取IP(不推荐使用) 1、使用 ip addr命令查看查看网卡名和是否有网络,获知网卡名为ens33。 2、输入vi /etc/sysconfig/network-scripts/ifcfg-ens33 ,修改ifc 阅读全文
posted @ 2023-04-01 08:51 大码王 阅读(12483) 评论(0) 推荐(0) 编辑
Python及PyCharm的环境搭建(PyCharm专业版破解与安装)
摘要:Python及PyCharm的环境搭建 一、安装Python解释器 官网下载地址:https://www.python.org/,以Windows为例。 1.点击Downloads—>All releases >点击Python3.9.0 2.下载完成后,双击python-3.9.0-amd64.e 阅读全文
posted @ 2022-08-31 10:38 大码王 阅读(495) 评论(0) 推荐(0) 编辑
在IDEA中的maven项目中开发scala项目
摘要:在maven项目中,怎么写Scala项目呢?下面是具体步骤,希望能帮到你哦 1.新建一个Maven项目 2.新建文件夹scala,并且将文件夹设置为resource root 3.添加scala library 4.添加scala插件,前提是先在settings-plugins中下载安装哦(附步骤) 阅读全文
posted @ 2022-07-01 11:50 大码王 阅读(704) 评论(0) 推荐(0) 编辑
MAVEN项目依赖外部JAR进行打包的两种方式
摘要:前言 第三方jar包在开发工具中引入后编译没问题, 启动调试包括打包时会提示找不到jar包的错误.需要上传到maven仓库中,并在pom文件内引入. 导入jar包 点击Project Structure进行项目设置,在Modules中Dependencies标签中点击+号 添加lib下的所有jar 阅读全文
posted @ 2022-05-13 11:09 大码王 阅读(2110) 评论(0) 推荐(0) 编辑
Shell 脚本大全之检测两台服务器指定目录下的文件一致性
摘要:#!/bin/bash ###################################### 检测两台服务器指定目录下的文件一致性 ##################################### #通过对比两台服务器上文件的md5值,达到检测一致性的目的 dir=/data/we 阅读全文
posted @ 2022-04-27 20:45 大码王 阅读(316) 评论(0) 推荐(0) 编辑
window下安装clickhouse
摘要:导读 随着互联网技术的发展,海量数据已经成为公司决策分析的重要来源,ClickHouse有着大数据入门和低学习成本(支持SQL)的优势,故开启了第一篇环境搭建。希望能降低ClickHouse的入门门槛。 环境及工具 Windows10专业版(64位):Windows其他版本可能会有其他问题,建议使用 阅读全文
posted @ 2021-09-23 10:05 大码王 阅读(3719) 评论(0) 推荐(1) 编辑
大数据运维(67)pytorch安装及基本使用(win10+CPU+Python3.6)
摘要:pytorch这两年越来越流行,定义网络结构简单,而且还很直观灵活,数据加载快。 一、安装 登陆pytorch官网。 选择合适的环境: 运行安装命令: pip3 install https://download.pytorch.org/whl/cpu/torch-1.1.0-cp36-cp36m-w 阅读全文
posted @ 2020-12-15 10:22 大码王 阅读(491) 评论(0) 推荐(0) 编辑
大数据运维(66)PyTorch GPU环境配置及安装
摘要:0. 前言 在计算机领域学习,最烦的一件事,就是安装软件,环境配置。而且,恰恰不如意的是,它还是你学习进程的第一关。第一关就出现大Boss。这样,超级容易打击学习的动力。 所以,在我看来,入门的话,一定要快,要不求甚解,先把握整体。所以,我的教程安排顺序和一些方法,不同于其他千篇一律的教程,其中也许 阅读全文
posted @ 2020-12-11 16:26 大码王 阅读(680) 评论(0) 推荐(0) 编辑
大数据集群运维(65)tensorflow-gpu在win10下的安装教程
摘要:参考:https://blog.csdn.net/gyp2448565528/article/details/79451212 按照原博主的方法在自己的机器上会有一点小错误,下面的方法略有不同 环境:win10 64位系统,带nVidia显卡 在https://www.geforce.com/har 阅读全文
posted @ 2020-11-11 10:20 大码王 阅读(203) 评论(0) 推荐(0) 编辑
大数据集群运维(64)Airflow安装教程
摘要:1.安装环境 CentOS-6.5 Python-2.7.12 setuptools-29.0.1 pip-9.0.1 2.编译Python sudo yum install -y gcc sudo yum install -y gcc-c++ sudo yum install -y wget su 阅读全文
posted @ 2020-11-06 09:55 大码王 阅读(473) 评论(0) 推荐(0) 编辑
大数据集群运维(63)IDEA类和方法的注释设置
摘要:目录 目录 生成类注释 生成类注解模板 生成方法注释 生成方法注解模板 最近从eclipse转idea了,第一步当然是配置快捷键,模板等。但是!发生了一件贼蛋疼的事情,竟然一直找不到正确添加方法注释的方法! 最后自己摸索到了,在此详细记录,供大家参考。 测试版本为idea for mac,可能快捷键 阅读全文
posted @ 2020-11-05 17:05 大码王 阅读(124) 评论(0) 推荐(0) 编辑
大数据集群运维(62)pycharm2020安装破解方法
摘要:一:前期准备 1.PyCharm官网下载链接(选择2020.1版本下载):https://www.jetbrains.com/pycharm/download/other.html PyCharm安装教程可以参考:这篇博客(虽然版本不同,但是安装方式基本不变):https://www.cnblogs 阅读全文
posted @ 2020-11-02 14:17 大码王 阅读(366) 评论(0) 推荐(0) 编辑
大数据运维(61)Linux环境安装PostgreSQL-10.1
摘要:环境及资源 Linux版本:CentOS release 6.5 PostgresSQL版本:postgresql-10.1 PostgreSQL官网下载地址:https://www.postgresql.org/ftp/source/v10.1/ 我下载的是postgresql-10.1.tar. 阅读全文
posted @ 2020-10-12 10:09 大码王 阅读(112) 评论(0) 推荐(0) 编辑
大数据运维(60)Hive on Spark配置
摘要:1. 版本兼容 Hive on Spark仅使用特定版本的Spark进行测试,因此只能确保给定版本的Hive与特定版本的Spark一起使用。其他版本的Spark可能与给定版本的Hive一起使用,但这不能保证。下面是Hive版本列表及其相应的兼容Spark版本。 Hive VersionSpark V 阅读全文
posted @ 2020-10-10 17:29 大码王 阅读(609) 评论(0) 推荐(0) 编辑
大数据运维(59)最全的大数据工具
摘要:本文除了一些常用的大数据工具,还总结汇总了其他大数据工具,几乎是最全的大数据工具的总结。 如果你想入门大数据,可以对他们进行简单的了解。 如果你想学习自己熟悉意外的大数据工具,可以看这篇文章。 如果你想选择一个适合自己公司的大数据工具,也可以参考这篇文章。 我们将针对大数据开源工具不同的用处来进行分 阅读全文
posted @ 2020-10-10 17:12 大码王 阅读(1192) 评论(0) 推荐(1) 编辑
大数据运维(58)Tableau安装与破解
摘要:1,下载文件 链接: https://pan.baidu.com/s/1kPXcOqU5QN-C19UjF3dEfg 提取码: a2j2 (注:该下载链接是网上找的,如有版权问题等,请私信我删除,里面有2018.2与10.5两个版本任意一个都行) 也可以在网上下载其他版本, 2,安装过程 解压之后 阅读全文
posted @ 2020-10-10 16:01 大码王 阅读(1124) 评论(0) 推荐(0) 编辑
大数据运维(57)平台搭建(hadoop+spark+zeppelin)(一)
摘要:随着信息化时代的加深,国家人力资源和社会保障部新规定了13个新型职业,大数据工程技术人员赫然在列,下面我将从一个初学者的态度,搭建我们的大数据平台。系统和软件版本如下: 软件相应版本 操作系统 CentOS 6.7 JAVA JDK 1.8.0.131 SCALA SCALA 2.11.2 Hado 阅读全文
posted @ 2020-10-10 15:57 大码王 阅读(443) 评论(0) 推荐(0) 编辑
大数据运维(56)zeppelin环境搭建及连接hive使用
摘要:一、准备工作 1.zepeelin简介 Zeppelin是一个基于Web的notebook,提供交互数据分析和可视化。后台支持接入多种数据处理引擎,如spark,hive等。支持多种语言: Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive 阅读全文
posted @ 2020-10-10 15:07 大码王 阅读(1990) 评论(0) 推荐(0) 编辑
大数据运维(55)zeppelin 配置安装与mysql解析器
摘要:Zeppelin是什么? 1.1 概述 Zeppelin是基于 Notebook技术开发的大数据交互分析服务软件,可以基于Web界面组合多个大数据分析引擎的处理能力,并内置提供了基于Web的可视化界面,可以连接几乎所有的Apache大数据处理服务系统。 1.2 功能 Zeppelin可以满足你的数据 阅读全文
posted @ 2020-10-10 14:54 大码王 阅读(688) 评论(0) 推荐(0) 编辑

复制代码