开发工具-004-搭建jupyter远程服务

1、安装jupyterconda create -n jupyter python=3.10pip install jupyter 2、配置jupyter设置密码,生成秘钥文件: jupyter notebook passwordEnter password:Verify password:[NotebookPasswordApp] Wrote hashed password to /you...

发布于 开发工具

LLM推理02-HuggingFace LLM导出ONNX

官方指导:https://huggingface.co/docs/transformers/v4.35.1/zh/serialization 1、下载TinyLLM模型代码 mkdir llmkitgit clone https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0 2、编写export_onnx.py脚本,导出onnx模型 ...

发布于 LLM

LLM推理01-lookahead decoding性能测试

术语: LADE:lookahead decoding缩写。 简介LADA方法介绍:https://lmsys.org/blog/2023-11-21-lookahead-decoding/ LADE GitHub仓库:https://github.com/hao-ai-lab/LookaheadDecoding 测试流程下载并安装: git clone https://github.c...

发布于 LLM

重构01、组合方法:代码重构的基础动作

软件设计和重构是从软件结构上对代码的简化,其中组合方法是我自己认为最为基础和关键的方法,没有之一! 1、什么是组合方法? 组合方法是对将函数实现为处于同一抽象层次的多个小函数组合调用的形式。简单来说,就是将长且复杂的大函数替换成多个小函数组合调用。 这里有一个关键词:同一抽象层次。举个例子来理解一下它,比如:和朋友一起出去玩,一般会讨论:去哪个景点?什么时间到?出行方式是什么?总共有几个人...

发布于 代码重构

2023-个人总结

2023已经结束,是时候对全年的经历做个总结了。 回看2023,基本是被工作占满的状态,形势不好,写代码也感受到了压力。 1、回顾先来回顾一下2023年初写的年度计划。 1、写30篇博客:实际发布18篇,完成率:60%;2、掌握一门语言:Python:这个在工作中有用到,勉强入门,完成率:50%;3、深度开发一个开源项目:JetConf:这个黄了,完成率:0%;4、熟练使用设计模式:写了总共...

发布于 个人规划

随想003. 2023,和自己和解

2023,过得很焦虑。2024,过好日子。 加油 :)

发布于 随想

CUDA优化001. TensorRT加速SD的优化

给看到的TensorRT加速AI推理2023 Hackson视频做个笔记Video。 SD模型结构: Unet ControlNet VAE Schedule latent(未入图) 优化方法: 步骤 优化操作 时延效果 分析 1 Export unet and controlnet to trt engine 2600ms→634ms 使用GPU执行 2 Use ...

发布于 CUDA性能优化

CUDA编程笔记004. 测量kernel耗时

1、使用cpu时钟测量kernel耗时#include <sys/time.h>double CpuSeconds() { struct timeval tp; gettimeofday(&tp, NULL); // 获取当前cpu时间戳。 return ((double)tp.tv_sec + (double)tp.tv_usec * 1e-6);...

发布于 CUDA编程笔记

CUDA编程笔记003. 线程索引

1、线程索引CUDA提供了两层的层次线程模型: Grid: 定义:执行同一个kernel代码的所有thread集合称为一个grid。 位于同一grid中的thread共享相同的global memory。 一个grid包含多个block。 Block: 定义:一种thread集合,同一block的thread可通过block内同步和block内显存贡献来相互协作。 对应地,在ke...

发布于 CUDA编程笔记

CUDA编程笔记002. Hello CUDA

使用CMake开发第一个CUDA工程hello-cuda。 源代码目录如下: $ tree hello-cuda/.├── CMakeLists.txt└── hello_cuda.cu 1、编写CMakeList.txt cmake_minimum_required(VERSION 3.14)# CMake支持CUDA语言,会自动识别.cu文件,并使用nvcc对齐编译。project(he...

发布于 CUDA编程笔记
1234