精品日产免费二区日产免费二区,福利写真视频网站在线,黄页网站在线观看

　　MindSpore Lite推理框架提供了功能完備的轉(zhuǎn)換工具及簡潔易用的推理API接口。

　　模型轉(zhuǎn)換階段，MindSpore Lite轉(zhuǎn)換工具可將MindSpore訓(xùn)練框架導(dǎo)出的MindIR模型或第三方框架導(dǎo)出的ONNX模型轉(zhuǎn)換為MindSpore Lite格式的ms模型。離線轉(zhuǎn)換過程中，工具首先將用戶模型解析為標(biāo)準(zhǔn)MindSpore Lite IR格式，并在此基礎(chǔ)上執(zhí)行算子融合、子圖切分、量化壓縮等系列優(yōu)化操作。同時，MindSpore Lite依據(jù)目標(biāo)部署硬件特性，將優(yōu)化后的IR對接至相應(yīng)硬件后端，最終導(dǎo)出適用于MindSpore Lite推理部署的ms模型文件。

　　在線推理階段，MindSpore Lite提供簡明高效的API調(diào)用接口，通過加載轉(zhuǎn)換后的ms模型，基于CPU后端注冊的170+高性能算子實現(xiàn)，調(diào)度選取最優(yōu)執(zhí)行計劃，最終獲取推理結(jié)果。推理過程中，框架支持子圖切分、IO免拷貝等關(guān)鍵技術(shù)，有效提升模型推理性能并保障業(yè)務(wù)部署的穩(wěn)定性與功能性。

　　MindSpore Lite提供CPU混合精度推理機(jī)制，可針對單個模型內(nèi)的不同算子，靈活配置Float32、Float16等不同精度計算策略，通過僅對精度敏感的算子保持高精度計算，可完成性能和精度的精細(xì)調(diào)優(yōu)。以語種翻譯模型為例，結(jié)合算法測試集，默認(rèn)選用Float16推理，針對LayerNorm，SoftMax等數(shù)值敏感算子采用Float32推理，較整網(wǎng)Float32性能提升20%，內(nèi)存降低30%，且精度誤差<1%。

　　調(diào)用MindSpore Lite執(zhí)行推理前需要設(shè)置輸入數(shù)據(jù)，推理結(jié)束后也需要讀取輸出結(jié)果，當(dāng)輸入規(guī)模變大，如翻譯模型輸入KVCache，會引入較大的內(nèi)存拷貝時延，且存在額外內(nèi)存占用。MindSpore Lite利用CPU內(nèi)存共享機(jī)制，實現(xiàn)了模型輸入/輸出數(shù)據(jù)免拷貝功能，可有效降低推理時延和內(nèi)存占用。以翻譯模型CPU推理為例，針對多達(dá)40個輸入節(jié)點(diǎn)，開啟免拷貝功能，可提升10%的推理性能，且內(nèi)存優(yōu)化10%。

　　可以通過MindSpore Lite官網(wǎng)發(fā)布包中的converter_lite轉(zhuǎn)換工具，將開源導(dǎo)出的onnx模型轉(zhuǎn)換成ms的模型，然后通過MindSpore Lite官網(wǎng)發(fā)布包中的benchmark工具驗證模型的功能與性能數(shù)據(jù)，詳細(xì)的驗證方法可以參考MindSpore Lite官網(wǎng)教程：https://www.mindspore.cn/lite/docs/zh-CN/r2.7.1/tools/benchmark_tool.html

　　• 針對翻譯算法模型在端側(cè)CPU硬件上的部署推理，MindSpore Lite會持續(xù)進(jìn)行性能優(yōu)化，降低部署內(nèi)存，提升推理性能，提供更加易用的接口能力。

　　• 與開源社區(qū)共同適配更多更新的開源算法模型，提升推理框架的泛化性能力，與模型推理性能。

　　本次在杭州舉辦的昇思人工智能框架峰會，將會邀請思想領(lǐng)袖、專家學(xué)者、企業(yè)領(lǐng)軍人物及明星開發(fā)者等產(chǎn)學(xué)研用代表，共探技術(shù)發(fā)展趨勢、分享創(chuàng)新成果與實踐經(jīng)驗。歡迎各界精英共赴前沿之約，攜手打造開放、協(xié)同、可持續(xù)的人工智能框架新生態(tài)!