企业官网建设流程全解析

赤壁网站制作,江苏启安建设集团有限公司网站,做网站的实验报告,网站建设任职要求1.FLOPS#xff08;大写#xff09;和TOPSFLOPS指的是一秒钟可以处理的浮动小数点运算次数,而TOPS是一秒钟可以处理了的整形运算次数的能力#xff0c;衡量计算机硬件性能#xff0c;计算能力的一个单位。注意FLOPS与FLOPs不同#xff0c;FLOPs是衡量模型大小的一个指标。…1.FLOPS大写和TOPSFLOPS指的是一秒钟可以处理的浮动小数点运算次数,而TOPS是一秒钟可以处理了的整形运算次数的能力衡量计算机硬件性能计算能力的一个单位。注意FLOPS与FLOPs不同FLOPs是衡量模型大小的一个指标。2.FLOPS在GPU中是如何运算的以A100架构举例一共有108个SM一个SM里有64个处理INT32的CUDA Core64个处理FP32的CUDA Core32个处理INT32的CUDA Core4个处理矩阵计算的的Tensor Core。上表的吞吐量是如何计算呢以FP64为例子throughput 1.41*108*32*1*2 9.7 TFLOPS同理FP32也是如此但是想FP16由于此架构没有专门针对FP16的cuda core所以我们将FP32和FP64的cuda core一起使用来计算FP16那么FP16则有256个32*22*64则Throughput 1.41 GHz * 108 * 256 * 1 * 2 78 TFLOPS我们算了两个cuda core的现在我们分析tensor coreAmpere架构使用的是第三代Tensor Core可以一个clk完成一个1024 ( 256 * 4)个FP16运算。准确来说是4x8的矩阵与8x8的矩阵的FMAThroughput 1.41 GHz * 108 * 4 * 256 * 2 312 TFLOPS3.CUDA Core vs Tensor Core如果这样的话算完一共矩阵后需要8*16 128个clk如果有16个cuda core并行则只需要8个clk。而tensorcore不是一个一个去算而是一部分一部分去算整体来说处理一个4*8与8*4的矩阵只需要2个clk就能完成。一roofline model#参数1.计算量单位是FLOPs表示模型中有多少个floating point operations是衡量模型大小的标准。2.计算峰值单位是FLOPS (也可以是FLOP/s)表示计算机每秒可以执行的floating point operations。是衡量计算机性能的标准。3.参数量单位是Byte表示模型中所有的weights(主要在conv和FC中)的量。是衡量模型大小的标准。4.访存量单位是Byte表示模型中某一个算子或者某一层layer进行计算时需要与memory产生read/write的量。是分析模型中某些计算的计算效率的标准之一。5.带宽单位是Byte/s全称是memory bindwidth表示的是单位时间内可以传输的数据量的多少。是衡量计算机硬件memor性能的一个标准。#带宽带宽主要与以下三个因素有关memory clock (GHz)memory bus width (Byte)memory channel。memory clock可以看成小汽车运行的速度memory bus width可以看成路面的宽度memory channel 则是一共有多少条运货的路。#计算密度单位是FLOPs/Byte表示的是传送单位数据可以进行的浮点运算数。计算密度 计算量/访存量 。上图中横坐标是计算密度纵坐标是计算机性能斜率是带宽峰值是计算峰值。以一台3080为例我们有他的计算峰值带宽我们就能做出他的性能图我们知道了斜率我们知道计算峰值然后根据这两个变量就可以找到不同浮点数对应的计算密度比如FP32由图可知他的计算密度为39.2那我们为了更好的使用计算机则我们后续搭建的模型的计算密度应该就是这个值左右实际会比39.2小一些。1kernel size的影响以FP32为例如图所示conv(1x1 conv)的虽然较少了计算量但是计算密度也 很低。随着kernel size增大计算密度增长率逐渐下降一般来说35大小的比较好。2output size的影响3channel size的影响4group convolution的影响5FC的影响FC的计算密度非常低的原因在于它的大量的访存6模型分析RTX 3080 Ampere架构中FP32的计算在39.2FLOPs/byte才达到计算饱和。所以这些模型其理论上都没有计算饱和。到目前讲的是理论值。然而实际上我们会发现峰值一般会小一些。