模型部署
-
AI模型部署落地综述(ONNX/NCNN/TensorRT等)
导读 费尽心血训练好的深度学习模型如何给别人展示?只在服务器上运行demo怎么吸引别人的目光?怎么才能让自己的成果落地?这篇文章带你进入模型部署的大门。 0 前言 模型部署的步骤:…
-
AIGC|手把手教你进行ChatGLM模型部署实践
一、背景介绍 模型部署基本步骤分为模型选择、模型部署、运行,如果需要在特定的场景下定制化模型,则还需要进行数据集的选择、数据集格式转换、微调。 根据上述的步骤本教程选取如下的开源模…
-
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
简介 小伙伴们好,我是《小窗幽记机器学习》的小编:卖热干面的小女孩。紧接前文:万字长文细说ChatGPT的前世今生,后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化…
-
NVIDIA显卡 – CUDA算力总结概览
NVIDIA官方链接:https://developer.nvidia.com/cuda-gpus 搬运官网图表如下: Jetson Products GPU Compute Ca…
-
win下pytorch安装—cuda11.6 + cudnn8.4 + pytorch1.12 + tensorRT(pycuda)
安装目录 一、cuda安装 1.1、cuda版本选择 1.2、下载安装 二、cudnn安装 三、pytorch安装 四、tensorRT8.X安装 写在前面 博主这里装的是cuda…
-
【模型部署】TensorRT的安装与使用
文章目录 1.TensorRT的安装 1.1 cuda/cudnn以及虚拟环境的创建 1.2 根据cuda版本安装相对应版本的tensorRT 2. TensorRT的使用 2.1…
-
OpenPPL PPQ量化(2):离线静态量化 源码剖析
目录 模型支持 量化onnx原生模型:quantize_onnx_model 输入输出 执行流程 ONNX格式解析 后记 模型支持 openppl支持了三种模型:onnx、caff…
-
OpenPPL PPQ量化(5):执行引擎 源码剖析
目录 前面四篇博客其实就讲了下面两行代码: ppq_ir = load_onnx_graph(onnx_import_file=onnx_import_file) ppq_ir =…
-
OpenPPL PPQ量化(4):计算图的切分和调度 源码剖析
目录 前言 上一篇博客讲了计算图的加载和预处理,真是费了不少劲啊…… 这一篇博客和大家一起学习PPQ精髓之一:计算图的分割与调度。第一讲就说过PPQ把计算图分成了三类:可量化、不可…