官方指导：https://huggingface.co/docs/transformers/v4.35.1/zh/serialization 1、下载TinyLLM模型代码 mkdir llmkitgit clone https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0 2、编写export_onnx.py脚本，导出onnx模型 ...

术语： LADE：lookahead decoding缩写。 简介LADA方法介绍：https://lmsys.org/blog/2023-11-21-lookahead-decoding/ LADE GitHub仓库：https://github.com/hao-ai-lab/LookaheadDecoding 测试流程下载并安装： git clone https://github.c...

软件设计和重构是从软件结构上对代码的简化，其中组合方法是我自己认为最为基础和关键的方法，没有之一！ 1、什么是组合方法？ 组合方法是对将函数实现为处于同一抽象层次的多个小函数组合调用的形式。简单来说，就是将长且复杂的大函数替换成多个小函数组合调用。 这里有一个关键词：同一抽象层次。举个例子来理解一下它，比如：和朋友一起出去玩，一般会讨论：去哪个景点？什么时间到？出行方式是什么？总共有几个人...

2023已经结束，是时候对全年的经历做个总结了。 回看2023，基本是被工作占满的状态，形势不好，写代码也感受到了压力。 1、回顾先来回顾一下2023年初写的年度计划。 1、写30篇博客：实际发布18篇，完成率：60%；2、掌握一门语言：Python：这个在工作中有用到，勉强入门，完成率：50%；3、深度开发一个开源项目：JetConf：这个黄了，完成率：0%；4、熟练使用设计模式：写了总共...

2023，过得很焦虑。2024，过好日子。 加油 :)

给看到的TensorRT加速AI推理2023 Hackson视频做个笔记Video。 SD模型结构： Unet ControlNet VAE Schedule latent（未入图） 优化方法： 步骤 优化操作 时延效果 分析 1 Export unet and controlnet to trt engine 2600ms→634ms 使用GPU执行 2 Use ...

1、使用cpu时钟测量kernel耗时#include <sys/time.h>double CpuSeconds() { struct timeval tp; gettimeofday(&tp, NULL); // 获取当前cpu时间戳。 return ((double)tp.tv_sec + (double)tp.tv_usec * 1e-6);
...

1、线程索引CUDA提供了两层的层次线程模型： Grid： 定义：执行同一个kernel代码的所有thread集合称为一个grid。 位于同一grid中的thread共享相同的global memory。 一个grid包含多个block。 Block： 定义：一种thread集合，同一block的thread可通过block内同步和block内显存贡献来相互协作。 对应地，在ke...

使用CMake开发第一个CUDA工程hello-cuda。 源代码目录如下： $ tree hello-cuda/.├── CMakeLists.txt└── hello_cuda.cu 1、编写CMakeList.txt cmake_minimum_required(VERSION 3.14)# CMake支持CUDA语言，会自动识别.cu文件，并使用nvcc对齐编译。project(he...

操作环境：Dell笔记本 Ubuntu 22.04 x86_64 Nvidia Geforce GTX 1050Ti 安装指导：https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html 3.10章节 1、检查显卡硬件 $ lspci | grep -i nvidia01:00.0 VGA compatibl...