简介 源码地址 业余时间研究了大语言模型的微调技巧，也成功微调出了一个原神的大模型 我微调的大模型要达到的效果是 问:钟离是什么性别? 答:钟离是男性 问:钟离来自什么国家? 答:钟离来自璃月 问:钟离掌握什么元素力？ 答:岩元素 问：钟离的身份是什么? 答:往生堂客卿，岩神 问: 钟离的性格特点是什么？ 答: 沉稳，深知璃月文化底蕴 准备事项 python环境 我的requirements.txt文件内容如下 transformers>=4.46.3 datasets>=3.4.1 accelerate==1.5.2 peft==0.14.0 trl==0.16.0 tokenizers==0.20.3 gradio==5.20.0 pandas==2.2.3 scipy einops sentencepiece tiktoken protobuf uvicorn pydantic fastapi sse-starlette matplotlib==3.10.1 fire packaging pyyaml numpy==1.26.4 av librosa 安装依赖包 pip install -r requirements.txt 数据集 我的原始数据集是从huggingface下载的，原始数据格式大致如下 { "丽莎": { "性别": "成年女性", "国籍": "蒙德", "元素力": "雷元素", "身份": "西风骑士团图书管理员", "性格特征": "喜欢挑逗人的魔法师大姐姐" }, "行秋": { "性别": "少年男性", "国籍": "璃月", "元素力": "水元素", "身份": "飞云商会少爷", "性格特征": "行侠仗义的侠客" }, "钟离": { "性别": "成年男性", "国籍": "璃月", "元素力": "岩元素", "身份": "往生堂客卿，岩神", "性格特征": "沉稳，深知璃月文化底蕴" }, "温迪": { "性别": "少年男性", "国籍": "蒙德", "元素力": "风元素", "身份": "吟游诗人，风神", "性格特征": "喜欢开玩笑的轻佻少年" } } 这样的数据集不能直接喂给大模型，我们需要处理，对于每一个角色，都做如下处理，以钟离为例...
Cifar100
用CIFAR100数据集来训练图像分类 最近在学习如何进行图像分类和识别，比如给一张狗的图片，系统能够准确识别 查下来目前初学者用的最多的是CIFAR10和CIFAR100， CIFAR100是一个在线数据集，包含了100个分类，每个分类600张图片，供咱们训练使用 接下来直接上代码 代码 import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms from torchvision import models # 定义数据预处理步骤 transform_train = transforms.Compose([ transforms.RandomCrop(32, padding=4), # 随机裁剪 transforms.RandomHorizontalFlip(), # 随机水平翻转 transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.2), # 颜色增强 transforms.RandomRotation(15), # 随机旋转 transforms.ToTensor(), transforms.Normalize((0.5071, 0.4865, 0.4409), (0.2673, 0.2564, 0.2761)) # 归一化 ]) transform_test = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5071, 0.4865, 0.4409), (0.2673, 0.2564, 0.2761)) ]) # 加载 CIFAR-100 数据集 trainset = torchvision....
K8s
K8s部署 最近公司上了k8s, 我只学了点皮毛,如能学好如虎添翼 前期准备 个人认为，学习K8S前必须掌握docker相关知识，否则学起来很困难 linux上安装k8s 教程 简要结构图 ingress 在Kubernetes中，Ingress 是一个API对象，用于管理对集群内服务的外部访问，通常是 HTTP 和 HTTPS。Ingress 可以提供负载均衡、SSL 终止和基于名称的虚拟主机等功能 apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: example-ingress spec: rules: - host: example.com http: paths: - path: /app1 pathType: Prefix backend: service: name: app1-service port: number: 80 - path: /app2 pathType: Prefix backend: service: name: app2-service port: number: 80 tls: - hosts: - example.com secretName: example-tls service 在Kubernetes中，Service 是一种用于定义逻辑集合的Pod及其访问策略的API对象。Service 提供了一种抽象，允许你将一组Pod作为一个单一的服务进行访问，而不需要知道这些Pod的具体位置或数量。Service 可以实现负载均衡、服务发现和故障转移等功能 apiVersion: v1 kind: Service metadata: name: my-service spec: selector: app: MyApp ports: - protocol: TCP port: 80 targetPort: 9376 pod 在Kubernetes中，Pod 是最小的可部署计算单元。它是运行在集群上的容器或容器组的抽象。Pod 是Kubernetes中管理和调度容器的基本单元。...
冒险岛V083 docker部署
gitee地址请点击 B站被封，只能转移到外网 点击查看视频教程
Stablediffusion
我自己写了一个nuget包,用以调用stablediffusion的webapi StableDiffusion.AI.Core
关于我的哔哩哔哩
简介 个人哔哩哔哩账号
我的第一个博客
简介 今天很开心，这是hugo部署的 Visit the Hugo website!