cuda 编程

发表于 2024-08-20 | 分类于 AI | 阅读次数

发表于 2024-07-23 | 分类于 AI | 阅读次数

假设您直接运行模型

LLM量化

发表于 2024-07-20 | 分类于 AI | 阅读次数

发表于 2024-06-27 | 分类于 AI | 阅读次数

发表于 2024-06-23 | 分类于 AI | 阅读次数

发表于 2024-06-09 | 分类于 AI | 阅读次数

https://www.bilibili.com/video/BV1jz421h7CA/?spm_id_from=333.788&vd_source=d591262dc9ce1bba22682d1cba1ca930

发表于 2024-05-31 | 分类于 AI | 阅读次数

发表于 2024-05-29 | 分类于 AI | 阅读次数

发表于 2024-05-27 | 分类于 AI | 阅读次数

发表于 2024-05-23 | 分类于 AI | 阅读次数

推理系统是一个专门用于部署人工智能模型，执行推理预测任务的人工智能系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。通过推理系统，可以将神经网络模型部署到云端或者边缘端，并服务和处理用户的请求。因此，推理系统也需要应对模型部署和服务生命周期中遇到的挑战和问题。