精度比对【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/gege.bufferOptimize数据缓存优化开关。参数取值l1_optimize表示开启l1优化。当前版本该参数无效等同于off_optimize。l2_optimize默认值表示开启l2优化。off_optimize表示关闭数据缓存优化。使用建议建议打开数据缓存优化功能开启数据缓存优化可提高计算效率、提升性能但由于部分算子在实现上可能存在未考虑的场景导致影响精度因此在出现精度问题时可以尝试关闭数据缓存优化。如果关闭数据缓存优化功能后精度达标则需要识别出问题算子反馈给技术支持进一步分析、解决算子问题解决算子问题后建议仍旧保持开启数据缓存优化功能。配置示例{ge.bufferOptimize, l2_optimize};必选/可选可选生效级别session/graphge.exec.enableDump是否开启dump功能。1开启dump功能从dump_path读取dump文件保存路径dump_path为None时会产生异常。0默认值关闭dump功能。配置示例{ge.exec.enableDump, 0};必选/可选可选生效级别全局/session使用约束该参数与ge.exec.enableDumpDebug参数全局场景以及同一个Session内场景不能同时设置。若“ge.exec.enableDump/ge.exec.enableDumpDebug二选一”参数配置为“1”同时“ge.exec.enable_exception_dump”配置为“1”即开启普通ExceptionDump此时针对动态shape网络仅“ge.exec.enable_exception_dump”生效。针对静态shape网络“ge.exec.enable_exception_dump”与“ge.exec.enableDump/ge.exec.enableDumpDebug二选一”都生效。ge.exec.enableDumpDebug是否开启溢出检测功能。1开启溢出检测功能从ge.exec.dumpPath读取Dump文件保存路径路径配置为None时会产生异常。0默认值关闭溢出检测功能。配置示例{ge.exec.enableDumpDebug, 0};必选/可选可选生效级别全局/session使用约束该参数与ge.exec.enableDump参数全局场景以及同一个Session内场景不能同时设置。若“ge.exec.enableDump/ge.exec.enableDumpDebug二选一”参数配置为“1”同时“ge.exec.enable_exception_dump”配置为“1”即开启普通ExceptionDump此时针对动态shape网络仅“ge.exec.enable_exception_dump”生效。针对静态shape网络“ge.exec.enable_exception_dump”与“ge.exec.enableDump/ge.exec.enableDumpDebug二选一”都生效。ge.exec.dumpData指定算子dump内容类型取值tensor默认值dump算子数据。statsdump算子统计数据保存结果为csv格式。一般情况下dump算子数据量大用户可以尝试dump算子统计数据。配置示例{ge.exec.dumpData, tensor};必选/可选可选生效级别全局/sessionge.exec.dumpDebugMode溢出检测模式。参数取值aicore_overflowAI Core算子溢出检测检测在算子输入数据正常的情况下输出是否不正常的极大值如float16下65500,38400,51200这些值。一旦检测出这类问题需要根据网络实际需求和算子逻辑来分析溢出原因并修改算子实现。atomic_overflowAtomic Add溢出检测即除了AICore之外还有其他涉及浮点计算的模块比如SDMA检测这些部分出现的溢出问题。all同时进行AI Core算子溢出检测和Atomic Add溢出检测。针对如下产品仅支持配置为“all”Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品配置示例{ge.exec.dumpDebugMode, all};必选/可选可选生效级别全局/sessionge.exec.dumpLayer指定需要dump的算子取值为算子名多个算子名之间使用空格分隔。若指定的算子其输入涉及data算子会同时将data算子信息dump出来。配置示例{ge.exec.dumpLayer, layer1 layer2 layer3};必选/可选可选生效级别全局/sessionge.exec.dumpModedump模式用于指定dump算子输入数据还是输出数据。取值如下input仅dump算子输入数据。output默认值仅dump算子输出数据。alldump算子输入和输出数据。配置示例{ge.exec.dumpMode, input};使用约束配置为all时由于部分算子在执行过程中会修改输入数据例如集合通信类算子HcomAllGather、HcomAllReduce等因此系统在进行dump时会在算子执行前dump算子输入在算子执行后dump算子输出这样针对同一个算子算子输入、输出的dump数据是分开落盘会出现多个dump文件在解析dump文件后用户可通过文件内容判断是输入还是输出。必选/可选可选生效级别全局/sessionge.exec.dumpPathDump文件保存路径。开启dump和溢出检测功能时该参数必须配置。该参数指定的目录需要在启动训练的环境上容器或Host侧提前创建且确保安装时配置的运行用户具有读写权限支持配置绝对路径或相对路径相对执行命令行时的当前路径。绝对路径配置以“/”开头例如/home/HwHiAiUser/output。相对路径配置直接以目录名开始例如output。dump文件生成在该参数指定的目录下即{dump_path}/{time}/{deviceid}/{model_name}/{model_id}/{data_index}目录下以{dump_path}配置/home/HwHiAiUser/output为例例如存放在“/home/HwHiAiUser/output/20200808163566/0/ge_default_20200808163719_121/11/0”目录下。必选/可选可选生效级别全局/sessionge.exec.dumpStep指定采集哪些迭代的dump数据。默认值None表示所有迭代都会产生dump数据。多个迭代用“|”分隔例如0|5|10也可以用-指定迭代范围例如0|3-5|10。配置示例{ge.exec.dumpStep, None};必选/可选可选生效级别全局/sessionge.fusionSwitchFile融合规则包括图融合和UB融合开关配置文件路径以及文件名路径和文件名支持大小写字母a-zA-Z、数字0-9、下划线_、中划线-、句点.、中文字符。系统内置了一些图融合和UB融合规则均为默认开启可以根据需要关闭指定的融合规则当前可以关闭的融合规则请参见《图融合和UB融合规则参考》但是由于系统机制其他融合规则无法关闭。配置文件样例_fusion_switch.cfg_如下所示__on表示开启off表示关闭。配置文件样例{ Switch:{ GraphFusion:{ RequantFusionPass:on, ConvToFullyConnectionFusionPass:off, SoftmaxFusionPass:on, NotRequantFusionPass:on, SplitConvConcatFusionPass:on, ConvConcatFusionPass:on, MatMulBiasAddFusionPass:on, PoolingFusionPass:on, ZConcatv2dFusionPass:on, ZConcatExt2FusionPass:on, TfMergeSubFusionPass:on }, UBFusion:{ TbePool2dQuantFusionPass:on } } }Ascend 950PR/Ascend 950DT不支持UB融合可以不配置UBFusion。同时支持用户一键关闭融合规则配置文件样例{ Switch:{ GraphFusion:{ ALL:off }, UBFusion:{ ALL:off } } }Ascend 950PR/Ascend 950DT不支持UB融合可以不配置UBFusion。需要注意的是关闭某些融合规则可能会导致功能问题因此此处的一键式关闭仅关闭系统部分融合规则而不是全部融合规则。一键式关闭融合规则时可以同时开启部分融合规则 配置文件样例{ Switch:{ GraphFusion:{ ALL:off, SoftmaxFusionPass:on }, UBFusion:{ ALL:off, TbePool2dQuantFusionPass:on } } }配置示例{ge.fusionSwitchFile, /home/test/fusion_switch.cfg};必选/可选可选生效级别全局/session/graph【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CANN/ge精度比对配置参数
精度比对【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/gege.bufferOptimize数据缓存优化开关。参数取值l1_optimize表示开启l1优化。当前版本该参数无效等同于off_optimize。l2_optimize默认值表示开启l2优化。off_optimize表示关闭数据缓存优化。使用建议建议打开数据缓存优化功能开启数据缓存优化可提高计算效率、提升性能但由于部分算子在实现上可能存在未考虑的场景导致影响精度因此在出现精度问题时可以尝试关闭数据缓存优化。如果关闭数据缓存优化功能后精度达标则需要识别出问题算子反馈给技术支持进一步分析、解决算子问题解决算子问题后建议仍旧保持开启数据缓存优化功能。配置示例{ge.bufferOptimize, l2_optimize};必选/可选可选生效级别session/graphge.exec.enableDump是否开启dump功能。1开启dump功能从dump_path读取dump文件保存路径dump_path为None时会产生异常。0默认值关闭dump功能。配置示例{ge.exec.enableDump, 0};必选/可选可选生效级别全局/session使用约束该参数与ge.exec.enableDumpDebug参数全局场景以及同一个Session内场景不能同时设置。若“ge.exec.enableDump/ge.exec.enableDumpDebug二选一”参数配置为“1”同时“ge.exec.enable_exception_dump”配置为“1”即开启普通ExceptionDump此时针对动态shape网络仅“ge.exec.enable_exception_dump”生效。针对静态shape网络“ge.exec.enable_exception_dump”与“ge.exec.enableDump/ge.exec.enableDumpDebug二选一”都生效。ge.exec.enableDumpDebug是否开启溢出检测功能。1开启溢出检测功能从ge.exec.dumpPath读取Dump文件保存路径路径配置为None时会产生异常。0默认值关闭溢出检测功能。配置示例{ge.exec.enableDumpDebug, 0};必选/可选可选生效级别全局/session使用约束该参数与ge.exec.enableDump参数全局场景以及同一个Session内场景不能同时设置。若“ge.exec.enableDump/ge.exec.enableDumpDebug二选一”参数配置为“1”同时“ge.exec.enable_exception_dump”配置为“1”即开启普通ExceptionDump此时针对动态shape网络仅“ge.exec.enable_exception_dump”生效。针对静态shape网络“ge.exec.enable_exception_dump”与“ge.exec.enableDump/ge.exec.enableDumpDebug二选一”都生效。ge.exec.dumpData指定算子dump内容类型取值tensor默认值dump算子数据。statsdump算子统计数据保存结果为csv格式。一般情况下dump算子数据量大用户可以尝试dump算子统计数据。配置示例{ge.exec.dumpData, tensor};必选/可选可选生效级别全局/sessionge.exec.dumpDebugMode溢出检测模式。参数取值aicore_overflowAI Core算子溢出检测检测在算子输入数据正常的情况下输出是否不正常的极大值如float16下65500,38400,51200这些值。一旦检测出这类问题需要根据网络实际需求和算子逻辑来分析溢出原因并修改算子实现。atomic_overflowAtomic Add溢出检测即除了AICore之外还有其他涉及浮点计算的模块比如SDMA检测这些部分出现的溢出问题。all同时进行AI Core算子溢出检测和Atomic Add溢出检测。针对如下产品仅支持配置为“all”Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品配置示例{ge.exec.dumpDebugMode, all};必选/可选可选生效级别全局/sessionge.exec.dumpLayer指定需要dump的算子取值为算子名多个算子名之间使用空格分隔。若指定的算子其输入涉及data算子会同时将data算子信息dump出来。配置示例{ge.exec.dumpLayer, layer1 layer2 layer3};必选/可选可选生效级别全局/sessionge.exec.dumpModedump模式用于指定dump算子输入数据还是输出数据。取值如下input仅dump算子输入数据。output默认值仅dump算子输出数据。alldump算子输入和输出数据。配置示例{ge.exec.dumpMode, input};使用约束配置为all时由于部分算子在执行过程中会修改输入数据例如集合通信类算子HcomAllGather、HcomAllReduce等因此系统在进行dump时会在算子执行前dump算子输入在算子执行后dump算子输出这样针对同一个算子算子输入、输出的dump数据是分开落盘会出现多个dump文件在解析dump文件后用户可通过文件内容判断是输入还是输出。必选/可选可选生效级别全局/sessionge.exec.dumpPathDump文件保存路径。开启dump和溢出检测功能时该参数必须配置。该参数指定的目录需要在启动训练的环境上容器或Host侧提前创建且确保安装时配置的运行用户具有读写权限支持配置绝对路径或相对路径相对执行命令行时的当前路径。绝对路径配置以“/”开头例如/home/HwHiAiUser/output。相对路径配置直接以目录名开始例如output。dump文件生成在该参数指定的目录下即{dump_path}/{time}/{deviceid}/{model_name}/{model_id}/{data_index}目录下以{dump_path}配置/home/HwHiAiUser/output为例例如存放在“/home/HwHiAiUser/output/20200808163566/0/ge_default_20200808163719_121/11/0”目录下。必选/可选可选生效级别全局/sessionge.exec.dumpStep指定采集哪些迭代的dump数据。默认值None表示所有迭代都会产生dump数据。多个迭代用“|”分隔例如0|5|10也可以用-指定迭代范围例如0|3-5|10。配置示例{ge.exec.dumpStep, None};必选/可选可选生效级别全局/sessionge.fusionSwitchFile融合规则包括图融合和UB融合开关配置文件路径以及文件名路径和文件名支持大小写字母a-zA-Z、数字0-9、下划线_、中划线-、句点.、中文字符。系统内置了一些图融合和UB融合规则均为默认开启可以根据需要关闭指定的融合规则当前可以关闭的融合规则请参见《图融合和UB融合规则参考》但是由于系统机制其他融合规则无法关闭。配置文件样例_fusion_switch.cfg_如下所示__on表示开启off表示关闭。配置文件样例{ Switch:{ GraphFusion:{ RequantFusionPass:on, ConvToFullyConnectionFusionPass:off, SoftmaxFusionPass:on, NotRequantFusionPass:on, SplitConvConcatFusionPass:on, ConvConcatFusionPass:on, MatMulBiasAddFusionPass:on, PoolingFusionPass:on, ZConcatv2dFusionPass:on, ZConcatExt2FusionPass:on, TfMergeSubFusionPass:on }, UBFusion:{ TbePool2dQuantFusionPass:on } } }Ascend 950PR/Ascend 950DT不支持UB融合可以不配置UBFusion。同时支持用户一键关闭融合规则配置文件样例{ Switch:{ GraphFusion:{ ALL:off }, UBFusion:{ ALL:off } } }Ascend 950PR/Ascend 950DT不支持UB融合可以不配置UBFusion。需要注意的是关闭某些融合规则可能会导致功能问题因此此处的一键式关闭仅关闭系统部分融合规则而不是全部融合规则。一键式关闭融合规则时可以同时开启部分融合规则 配置文件样例{ Switch:{ GraphFusion:{ ALL:off, SoftmaxFusionPass:on }, UBFusion:{ ALL:off, TbePool2dQuantFusionPass:on } } }配置示例{ge.fusionSwitchFile, /home/test/fusion_switch.cfg};必选/可选可选生效级别全局/session/graph【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
