阶段
数字化
信息化
电子化<IT 技术体系的支持是必要的基础工作>
角度
数据
连接
应用: 解决什么问题,还有哪些问题没有解决
层次
决策
管理
业务 : 业务功能 和信息记录 规范化 功能化 模型化 文化 文而化之 观乎天文以察时变,观乎人文以化成天下
数据类型和数据集
结构化数据: Excel
半结构化数据: Json xml
非结构化数据: 图像 点云 binary
技能水平
开发语言:熟悉java大数据开发,熟悉python,精通SQL,了解C++开发和R语言
操作系统:熟练使用Linux操作系统,了解常用命令
云计算 :熟悉Docker容器和Docker命令,熟练编写DockerFile以及docker-compose配置,了解K8s,熟悉kubernetes轻量化工具minikube kind K3s
数据采集:熟练使用 Flume、Datax 和 sqoop 进行数据采集和同步,了解 Flink CDC
数据存储:熟悉Hadoop生态,熟练使 HDFS、 Hive、HBase、了解 MySQL,了解对象存储
数据计算:熟悉 Hadoop、Spark Flink,了解SparkStreaming 实时开发,了解 Flink实时开发
数据处理:熟悉结构化与非结构化数据预处理,了解图像预处理,熟悉python版本的 Opencv open3d
任务调度:熟悉 dolphinschedule 任务调度系统部署和维护以及使用
敏捷开发:了解CI/CD持续集成、持续交付和持续部署,了解DevOps,基于Gitlab+Gitlab-Runner构建CI/CD
数据分析:能够使用 numpy pandas、matplotlib、seaborn 等库进行简单的数据分析及展示
数据建模:熟悉数据仓库建模规范以及数据分层
机器学习:了解逻辑回归、分类、聚类等算法,能使用 scikit-learn 训练模型
人工智能:了解深度学习,使用Pytorch,了解常见的图像分类以及目标检测算法
终端设备:了解ROS架构,熟悉Rosbag以及相应的消息订阅消费
项目经验
01.AI平台构建
数据采集-数据管理-数据标注-AI训练--模型部署-
平台仿真(待了解)
02.数据闭环和
其他-工具:是否有需要-是否有用
文件夹管理--total commander
文件搜索: listary Everthing
文献管理: endnote zotero
云工具: 印象笔记 坚果云
网络查看: wireshark tcpdump
开发工具:熟悉Idea以及Vscode
版本管理工具: git
文档管理工具: SVN
知识管理 : Wiki
缺陷和过程管理 : jira frog
Docker库管理 : harbor
对象存储:阿里OSS 以及华为Obs
数据监控和数据统计-带有告警功能:Grafana 监控K8s
CI/CD工具: gitlab-runner
构建工具--: java --maven C++-- cmake catkin
加密VPN设备
以IPSec/SSL VPN为主要功能的设备
SecoClient:支持Windows(Vista/7/8/8.1/10/Server 2008/Server 2012)的32位和64位系统、MAC64位系统、Linux,当前已停止维护。下载链接
Vpn Client:支持WinXp和Win7,当前已经停止维护下载链接
uni vpn 一般华为的防火墙都带得有100个SSL VPN的授权 https://www.leagsoft.com/doc/article/103107.html
openvpn openvpn-gui
EasyConnect
云桌面
cloudclient
Citrix Receiver 是一款功能强大的电脑虚拟桌面客户端软件
VMWare view Client 访问受支持的VMware虚拟桌面或Center
Microsoft Remote Desktop
远程协议,如 RDP、VNC、NX、X2GO、SPICE、HTTPS 和 SSH
SSH协议
Mobaxterm FinalShell XShell Putty SecureCRT
no-machine
Tight VNC Viewer VNC (Virtual Network Console)是虚拟网络控制台的缩写
Teamviwer
KRDC GNOME Connections
wiki.x2go.org 是一个基于 Linux 的远程桌面软件,基于 NX 技术,由 NoMachine 开发
FreeRDP是RDP的免费实现。RDP以客户机/服务器模式运行,其中远程计算机必须安装并运行RDP服务器软件
XRDP是基于FreeRDP和rdesktop的免费开源,简单的远程桌面协议服务器。
提高工作效率的工具
drawio——一款开源免费的流程图绘制软件
https://github.com/jgraph/drawio
https://github.com/jgraph/drawio-desktop/releases/tag/v16.5.1
iSlide是一款基于PPT的插件工具
https://math.edrawsoft.cn/ 亿图公式编辑器 PC端
数据库
大型的企业级数据库系统,
如 DB2,ORACLE、SYBASE等,
软件规模不大,就倾向选用如
MYSQL、POSTGRESQL等中小型数据库 基于C/S结构的关系型数据库系
嵌入式超轻量级数据库
SQLite 发布了3.2.0、 CMS (内容管理系统)
FireBird2.0发布了 Alpha-1。
Berkeley DB 基于磁盘文件的数据库系统 没有数据库服务器的概念
图型管理工具
IBExpert
DBeaver
内容数字战略
数字资产管理软件,也称为DAM digital asset management 工具
kodi 管理视频
picasa 管理图片
zune、 foobar 管理音频
endnote、noteexpress 管理文献 Zotero
ZotFile (Zotero 的插件)
calibre 管理电子书
Evernote 印象笔记
-- 本地化快速简洁且效率,索引搜索和类别管理
---增删改查
存储:资源管理器
增删
编辑:
修改-创造
添加自定义标签
查询
遍历 搜索 关联
-- 内容分发和使用
发布
回应
-- 验证、归档、备份、安全调整
云端协作-协同工具
沟通工具
Slack、Teams 和 Zoom
白板工具 -即时通信 邮件 电话 短信 BBS 远程会议 语音 视频
团队的--游戏-即时通信
团队协作软件
图片选择协同
开发语言
Linux Nexus 是一个强大的Maven仓库管理器 YUM(全称为 Yellow dog Updater, Modified
VxWorks操作系统 Blackberry的 QNX操作系统,
K8s kind Karmada(Kubernetes Armada)是华为主导开源的 Kubernetes 多云容器编排管理系统
Docker Docker Hub公共仓库--Docker Hub Container Image Library Harbor 是一个用于存储和分发Docker镜像的企业级Registry服务器
C++ vscode jfrog artifactory是一款二进制存储管理工具
java Idea
Python PyPi仓库,需要使用 pypiserver 库,
R Rstudio CRAN
SQL Dbeaver
绘图
drawio——一款开源免费的流程图绘制软件
https://github.com/jgraph/drawio
https://github.com/jgraph/drawio-desktop/releases/tag/v16.5.1
iSlide是一款基于PPT的插件工具
Visio IT和商务专业人员
Draw.io XMind
Veusz Origin SciDAVis LabPlot 有科研需求的人员使用
Matplotlib ggplot2
Photoshop、Illustrator、CorelDRAW AutoCAD
https://github.com/KDE/labplot
https://github.com/SciDAVis/scidavis
https://github.com/tidyverse
公式
https://math.edrawsoft.cn/ 亿图公式编辑器 PC端
数据库
大型的企业级数据库系统,
如 DB2,ORACLE、SYBASE等,
软件规模不大,就倾向选用如
MYSQL、POSTGRESQL等中小型数据库 基于C/S结构的关系型数据库系
嵌入式超轻量级数据库
SQLite 发布了3.2.0、 CMS (内容管理系统)
FireBird2.0发布了 Alpha-1。
Berkeley DB 基于磁盘文件的数据库系统 没有数据库服务器的概念
图型管理工具
IBExpert
DBeaver
读书
哲学-政治学-政治经济学-生态学-历史-地理
数学-物理-天文学-地理学-生物学