09 2021 档案

Bidirectional UTM_to_WGS84
摘要：1 import utm 2 import numpy as np 3 from shapely.wkt import dumps, loads 4 outfile = "D:/研究/课题资料/申请后提交/验收-准备/coding4-yanshou/data_vec_output/inputTIF. 阅读全文
posted @ 2021-09-27 20:24 土博姜山山 阅读(54) 评论(0) 推荐(0)
tiff遥感图像空间坐标转换（工作太忙，仅仅作为记录）
摘要：1 import rasterio 2 from pyproj import Proj, transform, CRS 3 4 ### geotiff_file: the original remote sensing file contain latitude and longitude info 阅读全文
posted @ 2021-09-20 20:00 土博姜山山 阅读(636) 评论(0) 推荐(0)
get_beijing_roadnetwork（工作太忙，仅仅作为记录）
摘要：1 from shapely.geometry import Polygon, LinearRing 2 import xml.etree.cElementTree as et 3 import matplotlib.pyplot as plt 4 from networkx import DiGr 阅读全文
posted @ 2021-09-18 11:57 土博姜山山 阅读(154) 评论(0) 推荐(0)
xml_result_2_taos_db（工作太忙，仅仅作为记录）
摘要：import taos from pyproj import Proj, CRS from PIL import Image, ImageOps import xml.etree.ElementTree as ET import os import time import requests impo 阅读全文
posted @ 2021-09-18 11:53 土博姜山山 阅读(72) 评论(0) 推荐(0)
Hadoop HDFS原理详解（系统性回顾）
摘要：Hadoop Apache™Hadoop®项目是为可靠的、可扩展的分布式计算而开发的一套开源软件。 Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大规模数据集进行分布式处理。 Hadoop旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。 Hadoop框架本身 阅读全文
posted @ 2021-09-08 21:54 土博姜山山 阅读(530) 评论(0) 推荐(0)
基于Mapreduce数据排序
摘要：1 import java.io.IOException; 2 import org.apache.hadoop.conf.Configuration; 3 import org.apache.hadoop.fs.Path; 4 import org.apache.hadoop.io.IntWrit 阅读全文
posted @ 2021-09-08 21:41 土博姜山山 阅读(223) 评论(0) 推荐(0)
Hadoop-Mapreduce-英文单词计数
摘要：1 package mapred; 2 3 import java.io.IOException; 4 import java.util.StringTokenizer; 5 import org.apache.hadoop.conf.Configuration; 6 7 import org.ap 阅读全文
posted @ 2021-09-08 21:34 土博姜山山 阅读(110) 评论(0) 推荐(0)
Hadoop-Mapreduce-英文单词计数（Brief版本-超详细解读）
摘要：1 package mapred; 2 3 import java.io.IOException; 4 import java.util.StringTokenizer; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org.ap 阅读全文
posted @ 2021-09-08 21:34 土博姜山山 阅读(306) 评论(0) 推荐(0)
常见数据类型-HadoopDataType（仅仅作为记录）
摘要：1 package mapred; 2 3 import org.apache.hadoop.io.ArrayWritable; 4 import org.apache.hadoop.io.IntWritable; 5 import org.apache.hadoop.io.MapWritable; 阅读全文
posted @ 2021-09-08 21:32 土博姜山山 阅读(64) 评论(0) 推荐(0)
HDFS常规操作-Hadoop（工作太忙，仅仅作为记录）
摘要：1 package hdfs; 2 3 import java.net.URI; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.fs.BlockLocation; 7 import org.ap 阅读全文
posted @ 2021-09-08 21:30 土博姜山山 阅读(81) 评论(0) 推荐(0)
python 多核并行计算 示例3，使用 管道 Pipe（仅仅作为记录）
摘要：import multiprocessing as mul # 管道 Pipe: # Pipe可以是单向(half-duplex)，也可以是双向(duplex)。 # 通过mutiprocessing.Pipe(duplex=False)创建单向管道 (默认为双向)。 # 一个进程从PIPE一端输入 阅读全文
posted @ 2021-09-06 15:52 土博姜山山 阅读(214) 评论(0) 推荐(0)
python 多核并行计算 示例2，使用manager 进行进程共享（仅仅作为记录）
摘要：1 import math 2 import datetime 3 import multiprocessing as mp 4 5 # 调用 Python 自带的多进程库 Multiprocessing, 就可以进行 多核并行 计算 6 # Manager 是一个 Multiprocessing 阅读全文
posted @ 2021-09-06 15:51 土博姜山山 阅读(392) 评论(0) 推荐(0)
python 多核并行计算 示例1（工作太忙，仅仅作为记录）
摘要：1 import math 2 import datetime 3 import multiprocessing as mp 4 5 # 调用 Python 自带的多进程库 Multiprocessing, 就可以进行 多核并行 计算 6 7 # 定义目标函数 8 def train_on_para 阅读全文
posted @ 2021-09-06 15:49 土博姜山山 阅读(614) 评论(0) 推荐(0)
python多线程示例3，加锁（仅仅作为记录）
摘要：1 import threading 2 import math 3 import datetime 4 5 # 多线程本质上是在一个 Python 程序里做的一个资源再分配，把几段代码的运行顺序进行先后调整达到 CPU 资源利用的最大化。 6 # 但是这么做的一个缺点就是资源竞争Resource 阅读全文
posted @ 2021-09-06 15:48 土博姜山山 阅读(294) 评论(0) 推荐(0)
python多线程示例2，加锁（仅仅作为记录）
摘要：1 import threading 2 3 # 多线程本质上是在一个 Python 程序里做的一个资源再分配，把几段代码的运行顺序进行先后调整达到 CPU 资源利用的最大化。 4 # 但是这么做的一个缺点就是资源竞争Resource Contention，意思就是有可能几段代码同时在读写一个参数的 阅读全文
posted @ 2021-09-06 15:47 土博姜山山 阅读(729) 评论(0) 推荐(0)
python多线程示例1（工作太忙，仅仅作为记录）
摘要：1 import threading 2 3 # 多线程本质上是在一个 Python 程序里做的一个资源再分配，把几段代码的运行顺序进行先后调整达到 CPU 资源利用的最大化。 4 5 # 直接继承线程类，然后覆盖继承类函数的方法 6 class ThreadChild(threading.Thre 阅读全文
posted @ 2021-09-06 15:45 土博姜山山 阅读(94) 评论(0) 推荐(0)