Pompeii BL
2024
12
10
07
hexo正确渲染md/latex公式 hexo正确渲染md/latex公式
我们平时使用markdown写文档的时候，免不了会碰到数学公式，好在有强大的Mathjax，可以解析网页上的数学公式，大部分情况下都是可以的，但是Markdwon本身的特殊符号与Latex中的符号会出现冲突的时候: _的转义，在markd
2024-12-07 hexo
hexo hexo公式渲染
07
大模型优化-FlashAttention-v1 大模型优化-FlashAttention-v1
前言 在传统的自注意力机制中，注意力矩阵的计算复杂度为 O(N²)，其中 N 是序列的长度。对于长序列的输入（如文本或图像中的像素点），这种计算代价极高，特别是在训练大型语言模型或视觉模型时，内存占用和计算开销随着序列长度的增加而急剧上升。
2024-12-07 LLMs
LLMs FlashAttention
04
04
大模型高效微调方法PEFT--LoRA/QLoRA 大模型高效微调方法PEFT--LoRA/QLoRA
参数高效微调PEFT 微调 微调（Fine-tuning）是一种迁移学习的技术，用于在一个已经预训练好的模型基础上，通过进一步训练来适应特定的任务或数据集。微调可以在具有相似特征的任务之间共享知识，从而加快训练速度并提高模型性能。 以下是一
2024-12-04 LLMs
深度学习 LoRA PEFT
03
02
11
30
大模型显存占用分析 大模型显存占用分析
大模型消耗的显存 在详细说明大模型需要消耗的显存大小之前我们需要先明确几个概念。 一个就是大模型在不同阶段对显存的消耗是不同的。但是大致可以分为三个阶段或者说三个场景。即大模型预训练阶段、大模型微调阶段和大模型推理阶段。 - 在预训练阶段，
2024-11-30 LLMs
LLMs 深度学习 KV Cache AI LoRA
28
hexo博客搭建 hexo博客搭建
基础搭建 Hexo 选一个博客框架，hexo是静态网站框架，基于nodejs，可以生成静态网页，部署到github上。 需要提前安装git，nodejs。 - check git version: git --version - check
2024-11-28 hexo
hexo next 个人静态博客搭建
4 / 4