内存管理【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/geEXEC_DISABLE_REUSED_MEMORY内存复用开关。此参数实际对应的options参数为ge.exec.disableReuseMemory。内存复用是指按照生命周期和内存大小把不冲突的内存重复使用来降低网络内存占用。参数取值0默认值开启内存复用。1关闭内存复用。如果网络模型较大关闭内存复用开关会造成后续推理时Device侧内存不复用从而导致内存不足。配置示例{ge::ir_option::EXEC_DISABLE_REUSED_MEMORY, 0}产品支持情况全量芯片支持。EXTERNAL_WEIGHT生成om模型文件时是否将原始网络中的Const/Constant节点的权重外置同时将节点类型转换为FileConstant类型。此参数实际对应的options参数为ge.externalWeight。离线场景如果模型权重较大且环境对om离线模型大小有限制建议开启外置权重将权重单独保存来减小om大小。参数取值0默认值权重不外置直接保存在om离线模型文件中。1权重外置但不归一将网络中所有Const/Constant节点的权重文件落盘并将节点类型转换为FileConstant类型权重文件保存在与om文件同层级的weight目录下不同节点权重保存到不同的文件中以weight_hash值命名。2权重外置且归一将网络中所有Const/Constant节点的权重文件落盘并将节点类型转换为FileConstant类型权重文件保存在与om文件同层级的weight目录下所有权重保存到同一个文件中以“原始图根图名称_weight_combined”命名。配置示例{ge::ir_option::EXTERNAL_WEIGHT, 1}使用约束权重外置场景在开发推理应用、加载模型时使用aclgrphSaveModel接口保存om模型若使用aclmdlLoadFromFile接口加载模型需将权重文件保存在与om文件同层级的weight目录下。若使用aclmdlSetConfigOpt和aclmdlLoadWithConfig接口加载模型对权重外置目录没有要求后续加载模型时通过aclmdlLoadWithConfig接口指定权重外置目录。权重更新场景使用aclgrphBundleSaveModel接口保存om模型只能使用aclmdlBundleLoadFromFile接口加载模型并且需将权重文件保存在与om文件同层级的weight目录下。产品支持情况全量芯片支持。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考