文章分类 - 项目使用 微服务架构
摘要：web 项目之中慢查询的使用(flask为例): 1,如果只是看msql的慢查询的日志在的项目之中很难定位问题 2,可以借用 SQLALCHEMY_RECORD_QUERIES 与 DATABASE_QUERY_TIMEOUT 将慢查询以及相关的上下文信息记录到日志中 3,代码逻辑: 1),启用查询记录功能 2),app.logger 增加一个记录日志...
阅读全文
摘要：大型网站架构经验总结: 1,缓存的使用: 1),本地缓存,热点数据存储到内存之中 2),分布式缓存,建立分布式网络缓存集群,应用程序通过网络来访问缓存数据 3),反向代理,由代理服务器来决定是从后端获取数据,还是把缓存的内容返还给前端 4),CDN(内容发布网络)缓存,由发布商出售缓存服务给需要的网
阅读全文
摘要：基于flask 微服务架构实现方式 1,采用的是二进制的通信格式 2,app.py 注重于视图的逻辑, client.py 注重于请求服务,server.py注重于处理客户端的请求处理 3,在 '.thrift'文件之中: 1),service PasteFileService{} 定义了服务端接口,属性开头定义了返回的类型! clien...
阅读全文
摘要：Apache Thrift 是主流的PRC框架之一 1,最初是由 facebook 实现的一种支持多种编程语言的，高效的远程服务器框架 2,它采用中间语言(IDL,接口描述语言)，定义PRC接口和数据类型,通过编译器生成不同的代码（python,java,C++,Ruby）等 3,其传输数据采用的是
阅读全文
摘要：项目服务化架构: 1,服务化指的是项目架构微服务化. 2,服务化的划分规则: 1),根据业务划分,比如豆瓣电影是一个产品线,把豆瓣电影独立成一个服务,被其他的产品线使用.整个豆瓣网站都不会由于一个产品线问题,让整个网站不能使用. 2),根据功能划分,豆瓣的读书,音乐,电影都有长评的功能。把长评功能独
阅读全文
摘要：集群管理系统slurm: 1,平行计算机粘合剂,用于执行并行作业 2,它使得并行计算就像pc一样简单实用 3,通常用来管理并行程序之间的通信slurm设计框架: 1,为集群提供简单的资源管理 2,通过插件完成功能强大的祖业调度器 3,由c语言编写,对管理员友好常用的操作组件: 资源管理器:通过使用集
阅读全文
摘要：[DEFAULT] debug = false # 指定了django 配置文件的位置！web 使用默认的配置文件！ django_settings_module = antilles_web.settings # common allow_hosts = * domain = hpc.com #
阅读全文
摘要：fpga_type_mapping={ 'node_fpga_type':str, 'node_fpga_errors':int } fpga_field_mapping={ 'node_fpga_type':'type', 'node_fpga_errors':'errors', } @share
阅读全文
摘要：#from jsonschema import validate def json_schema_validate(schema): def valieated_func(func): def _func(self, request, *args, **kwargs): try: validate(
阅读全文
摘要：git 介绍: 1,对于 git 来说每一个电脑都是一个代码仓库,服务器也是一个代码仓库 2,每个人都从这个“服务器”仓库克隆一份到自己的电脑上，并且各自把各自的提交推送到服务器仓库里，也从服务器仓库中拉取别人的提交 3,每一个人都有自己的分支,用来开发自己的代码,将每天的代码提交到自己的分支 4,组员提交到每个人的分支之后，提交一个 request 到组长,开发组长会根据...
阅读全文
摘要：传统的开发方式： 1,由于用户不知道自己想要什么，所以会与用户进行长久需求调研 2,开发人员需要彻底的了解‘需求’，事无巨细的写下所有的‘需求’细节 3,使用各种方式进行复杂的估算 4,基于以上产生了一个庞大的长期计划但是需求有时是涌现的，所以以上是很痛苦的。需求： 需求分为四种 1,知道的需求，开
阅读全文
摘要：# -*- coding: utf-8 -*- import logging from django.conf import settings from django.contrib.auth import authenticate from django.contrib.auth.models i
阅读全文
摘要：1，后端与 job 作业是完全分离的，中间是用 rebbitmq 进行通信的！也就是说，后端对作业操作只需要发送消息到rebbitmq服务器即可！是由于 job 的完成是耗时的过程！所以采用消息队列来完成异步的处理！2,当 rebbitmq 服务端发送消息，客户端会进行监听得到消息，采用多线程进行处
阅读全文
摘要：什么是 webserver(像一个webapi接口，但又不仅仅是web接口) 1,你要从别的网站或服务器上获取资源或信息，别人肯定不会把数据库共享给你，只能给你提供一个他们写好的方法来获取数据，你引用他提供的接口就能使用他写好的方法，从而达到数据共享的目的。 2, python 开发一台软件，jav
阅读全文
摘要：python 安装 依赖包的几种方式 1,使用“pip install 模块名” 一般用于在线安装 2,“python setup.py install” 如果我要发布自己所写的模块，模块中使用到了第三方包 redis ,django ，那么只能使用python setup.py install 。 from os import path from setuptools import se...
阅读全文
摘要：一:管理节点 安装xCAT: xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级集群管理和配置工具，允许使用者通过一个单点控制和管理一个集群系统 配置 xCAT节点信息 添加hosts解析 hosts解析 是域名与ip解析的一个文件 配置
阅读全文
摘要：第一种搭建介绍: 管理节点：作为HPC集群的核心，肩负着集群管理、监控、调度、策略管理、用户和账户管理等主要功能。计算节点：顾名思义，就是完成计算的任务。登录节点：是集群联系外部网络或集群之间的纽带。用户需要通过它来完成用户的登录并用它来上传应用数据，开发编译程序，提交调度任务等。并行文件系统：提供
阅读全文
浙公网安备 33010602011771号