Qwen3-Coder-30B-A3B-Instruct-IQ4_NL.gguf大模型本地部署指南:从下载到运行全流程(CPU+大内存也能玩转大模型)
一、前提提醒 重点:能纯CPU跑,大概需要26G内存。(我停止运行后,已使用内存从32G降到6G) 也可以CPU+GPU一起跑 大概需要(26G - 显存 × 2)内存 本人刷视频刷到llmfit软件,发现它说我32G内存+8G显存的电脑上能部署千问3 30B这种大模型 我感到非常兴奋,30B啊,这可是30B啊,很久以前我部署过7B大小的模型,那7B真的跟个小学生一样,推理能力差,记忆能力差,输出速度还慢。现在跟我说,我能部署30B的大模型,这我真得尝试尝试了 后面也是成功部署到本地,且推理能力和记忆能力比7B强好多好多,给你们看看实际用了多少内存显存。 下面图片的运行参数是-ngl 16 -c 8192 -t 8(16块专家在显卡上跑,上下文长度8192token,用CPU 8个线程)显存用了7G,内存用了11.5G (i3 12100 RTX2080) cpu+gpu输出速度在11~15 token/s 纯cpu输出速度大概10 token/s 二、准备工作 1.下载 llama.cpp : 官方 GitHub...
Git推送大文件解决方案:Git LFS与配置优化
在Git版本控制中,推送大文件(如视频、二进制文件等)常因平台限制或网络问题导致失败。 本文系统梳理了Git LFS(推荐方案)和调整Git配置(临时方案)两种核心解决方案,并提供了历史提交清理和平台限制对比等扩展方法。 一、Git LFS:大文件管理的标准化方案 Git LFS(Large File Storage)通过将大文件存储在独立服务器,仅在仓库中保留指针文件,有效解决了Git原生对大文件处理低效的问题。 其核心优势包括: 仓库轻量化:指针文件仅占KB级空间,显著降低克隆和拉取时间 版本控制优化:仅下载当前需要的文件版本,而非全部历史版本 跨平台支持:GitHub、GitLab等主流平台均提供原生支持 安装与配置 安装Git LFS 不同操作系统的安装命令如下: 1234567891011121314# Windows# 下载安装包(需访问GitHub)https://github.com/git-lfs/git-lfs/releases# 安装后初始化git lfs install# Mac(Homebrew)brew install git-lfsgit...
局域网内海量文件快速复制方法
遇到的问题:最近需要不同磁盘和服务器间的文件(一个文件夹 几十 T,里面有很多小文件)的快速复制,直接通过默认复制卡死。 解决方法:FastCopy,官网:FastCopy (https://fastcopy.jp/) ,测试速度能能达到 30-70M/s,能支持断点 续传。也可以在局域网内实现快速复制,具体如下: 比如,A 服务器内网 ip:192.168.0.1 ,要复制到B 服务器内网 ip:192.168.0.2。 1、在 B 服务器的CMD 中运行:net use \192.168.0.1\g$ “Pass123” /user:“User123” 其中,Pass123为 A 服务器登录密码,User123为 A 服务器登录用户名。 2、在 FastCopy 中原地址输入:\192.168.0.1\d$\xxxx ,指的是连接192.168.0. 1 地址的 d 盘下的 xxxx 目录。点击运行即可。 另外,横向对比其它几个复制软件: ...
windows下CMake如何编译
如果使用VScode,可以直接使用CMakeTools的插件,参考: vscode中配置Qt6和CMake的开发环境 以下为通过命令行进行编译方法: Windows下CMake编译核心分为生成构建文件和执行编译两步,具体命令取决于你使用的编译器工具链(MinGW 或 MSVC)。 一、使用MinGW/Clang编译 1. 创建并进入构建目录 123mkdir buildcd build```:ml-citation{ref="11,12" appearance="aggregated" data="citationList"} 2. 生成构建系统 1cmake .. -G "MinGW Makefiles" 注:… 表示 CMakeLists.txt 在上一级目录;若使用 MSVC 可省略 -G 参数。 3. 执行编译 1mingw32-make 注:部分MinGW版本需使用mingw32-make而非make;若配置了环境变量可直接用make。 4....
vscode中配置Qt6和CMake的开发环境
本文配置的是windows平台上的以msvc为主的编译套件。 1. 安装Visual Studio 2022,Qt6,CMake。 qt的安装,可参考前面的一篇博客: Qt6软件安装 qt默认安装在c盘,装好之后,会看到msvc2019_64的文件夹,msvc相关的编译器都在里面 CMake的下载路径 cmake安装好之后,添加环境变量 2. vscode中安装 C/C++,CMakeTools,Qt C++相关的一些扩展。 点击CMakeTools旁边的小齿轮,然后在弹出的菜单栏中,选择设置 设置Cmake: Build Directory,将编译所生成的文件全部放到该工程目录下的exe文件夹中。 设置Cmake的可执行文件的路径,就是刚才安装的cmake的目录: 点击插件中的Qt Core,设置Qt的安装目录: 3. vscode中配置C++的编译项 crtl+shift+P,同时安装这3个键,搜索C/C++: 编辑配置(UI),或者点击扩展 C/C++...
Qt6.8.3 Windows开发环境下载安装配置全攻略
引言 随着Qt6.8版本的性能飞跃(官方数据显示编译效率提升40%),越来越多开发者选择其构建跨平台应用。然而,Windows+VS2022的强强联合背后,却暗藏三大致命陷阱:版本匹配玄学(Qt6.8与MSVC编译器的微妙关系)、环境变量黑盒(PATH冲突导致调试失败)、组件依赖迷宫(漏选一个模块直接项目崩盘)。更别提那些连老手都可能中招的隐形坑点——从中文路径引发的灵异报错,到杀毒软件 拦截导致的安装闪退。 1. 下载QT 官网地址: Qt | 软件开发全周期的各阶段工具 下载链接: https://d13lb3tujbc8s0.cloudfront.net/onlineinstallers/qt-online-installer-windows-x64-4.9.0.exe 1.1. 打开官网 1.2. 点击 Download. Try. 1.3. 点击 探索Qt社区版 1.4. 点击 Download the Qt Online Installer 1.5. 点击 Windows x64 1.6. 点击 Qt Online Installer...
UE5 VR模式下widget上的UI无法更新和光束Interaction没有正常显示问题
两个关于VR模式下的问题: 问题一:widget上的UI无法更新 描述:VR模式下,游戏暂停时(set game paused),UMG上继承父类user widget类的按钮无法改变背景颜色2D下可以,VR不可用。 原因: Set Game Paused(true)会冻结3D Widget的Slate渲染更新 2D是屏幕空间UI,不受游戏暂停影响 VR/3D Widget是世界空间UI,属于Actor/Scene组件,暂停时样式、颜色、Brush 刷新被冻结 解决: 给3D Widget Component开「暂停时也更新」 找到场景里放菜单的Widget Component,右侧 Details 搜索: Tick When Paused = true Receive Hardware Input = true ...
Web服务与IO模型
关于Web服务与IO模型,这篇文章讲得比较好理解。 一、 Web 服务介绍 1.1.1 Apache prefork 模型(预派生模式) 核心机制:主控制进程派生多个独立子进程,使用select模型,最大并发 1024;每个子进程单线程响应用户请求 资源特性:占用内存较多,但稳定性极高 配置特点:可设置进程数的最大值和最小值 适用场景:访问量中等的场景 优缺点 ✅ 优点:极致稳定,故障隔离性好 ❌ 缺点:每个请求对应一个进程,资源占用高,并发能力弱,不适合高并发场景 1.1.2 Apache worker 模型(多进程 + 多线程 混合模式) 核心机制:主进程启动多个子进程,每个子进程包含固定线程数;线程处理请求,线程不足时新建子进程补充 资源特性:相比 prefork 内存占用更少,支持更高并发 优缺点 ✅ 优点:内存占用低,可处理更多请求 ❌ 缺点:长连接(keepalive)会长期占用线程,高并发下易出现无可用线程的情况(prefork 也存在此问题) 1.1.3 Apache event...
UE5GAS框架入门介绍
前言 GAS(Gameplay Ability System)是UE5中用于快速搭建MOBA(比如英雄联盟)、FPS(比如穿越火线、CS)等游戏技能系统的强大框架。 为什么需要GAS? 如果你已经能用UE5的蓝图和动画系统做出一个能跑能跳、会放几个简单技能的角色,那你肯定遇到过下面这些“糟心事儿”。 比如,想给角色加个“生命值”属性,结果发现这个值要在UI上显示、要被技能伤害扣除、还要被治疗技能恢复,不得不在蓝图的各个角落里写上一堆“Set Health”、“Get...
完整卸载OpenClaw
卸载前的准备工作 在开始卸载之前,建议先做几件事情,确保卸载后不留残余文件。 步骤 1 停止正在运行的 OpenClaw 守护进程(daemon) 如果你使用了 Gateway 服务,先手动停止它,否则可能有残留进程占用端口或文件。 12345# 停止守护进程openclaw daemon stop# 或者停止 Gateway 服务openclaw gateway stop 步骤 2 (可选)备份配置文件 如果你不确定是否需要保留已有配置,建议先备份: macOS / Linux:~/.openclaw/ Windows:%USERPROFILE%\.openclaw\ ⚠️ 注意: 卸载 OpenClaw 本体不会自动删除你的配置目录(~/.openclaw/),如需彻底清除,需要手动删除该目录。 Windows — PowerShell 安装的卸载方法 安装命令: iwr -useb https://openclaw.ai/install.ps1 | iex PowerShell 脚本通过 npm install -g openclaw 全局安装...




