搜索
首页硬件教程硬件测评我花300块组装的电脑,成功跑通了本地大模型
我花300块组装的电脑,成功跑通了本地大模型Apr 12, 2024 am 08:07 AM
aipc英伟达英特尔大模型重绘aipc

如果说2023年是大家公认的AI元年,那么2024年很可能就是AI大模型普及的关键一年。

在过去的一年中,大量的AI大模型、大量的AI应用横空出世,Meta、Google等厂商也开始面向民众推出自己的在线/本地大模型,类似于“AI人工智能”这样遥不可及的概念,就这样突然来到了人们身边。

如今人们在生活中越来越多地接触到人工智能,如果你仔细分辨,你会发现,你所能接触到的各类AI应用,他们几乎都部署在“云端”上。如果想要搭建一台本地运行大模型的设备,那么硬件都是售价5000元以上的全新AIPC,对于普通消费者来说并不友好。

我花300块组装的电脑,成功跑通了本地大模型

(图源:Google)

不过将预算压缩到极致,然后搭配出一套「能用」的主机,正是每一位DIY玩家的终极乐趣。而现在的问题是,如果真的想弄一台可以本地运行大语音模型的电脑,到底需要多少钱?

我的预算是——300元。

尽管近期正经的内存/存储产品有价格上涨的趋势,但是在洋垃圾这边其实价格变化倒是不大,甚至一批早年的洋垃圾CPU和矿卡GPU还有价格下跌的趋势。在如今AI大潮席卷而来的背景下,我甚至不准备拘泥于办公影音需求,决定挑战一下用三百块钱的预算,试着去打造出一套性价比颇高的入门级本地大模型主机。

至于具体应该怎么操作,最终成效是否如意,跟着我一起看下去自然就知道了。

经典的老CPU,矿工级的GPU

在CPU的选择上,我直接从闲鱼上捡了一颗Intel® Core™i3-4170T。

该处理器为二核四线程,3.2GHz主频,没有睿频能力,具备3MB智能缓存,采用22nm制程工艺的Haswell架构,最大的特点就是拥有一颗HD4400核显,这也是我选择它的关键。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


俗话说得好,低价U配低价板嘛,主板我选的就是一块华硕工包H81M-V3主板,只有两根DDR3内存插槽不说,甚至都没有HDMI输出接口,也没有M2硬盘位,USB 3.0、SATA III接口都只有两个,这玩意最大的优势就是超级低的二手价格。


这加起来不到80的板U套装,性价比放在今时今日也是出类拔萃的。


我花300块组装的电脑,成功跑通了本地大模型

(图源:淘宝)


这种CPU,散热就不用太担心了。


闲鱼20包邮寄过来的下压式风冷散热,虽然外观上是丑了一点,简陋了一点,但是用来压我这一套超低价配置肯定是绰绰有余了。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


至于显卡嘛,近期闲鱼上面流出了一大堆P106-090/P106-100矿卡,其中前者的价格普遍在75块钱左右,后者的价格普遍在120块钱左右,考虑到我这次的初衷并不是为了游戏而来,我最终直接选择了一张索泰P106-090矿卡,这卡因为带宽问题并不适合游戏,但价格就摆在这里。


最后,给它简单配上两根杂牌DDR3内存,组成内存双通道,用一个350W长城电源供电,一块120GB SATA SSD做系统盘,用上次装机剩下来的大水牛硅脂凑合凑合,最后再配上个20块钱的电脑城小机箱,我们三百元装机的基础硬件就到齐了。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


不服跑个分!还算合理的性能表现


装机完成,点亮机箱!


先做个简单的性能测试,作为多年服役的老将,Intel® Core™i3-4170T的性能也就那样,即便是在用TrottlesStop解锁功耗的情况下,也就差不多相当于移动端酷睿六代、酷睿七代处理器的水平。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


在实测环节中,CPU-Z测试单核跑分有319.9分,多核跑分有881.0分,在CINEBENCH测试标准下,CINEBENCH R20多核732cb、单核301cb。这成绩当然算不上亮眼,但是拿来日常办公、轻度娱乐倒是完全足够。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


再看看GPU部分,我们手上这张索泰P106-090采用16nm工艺打造,显卡核心为GP106,核心频率为1354MHz,可提升到1531MHz,具有768个着色单元,支持DirectX12,显存规格为3072MB/192Bit三星GDDR5内存,显存频率可达2002MHz。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


值得注意的是,P106-090的接口是PCI-E x4 1.1,而P106-100的接口是PCI-E x16 1.1,这导致二者即便是在相同核心的情况下,依然存在着比较明显的性能差异,我选择P106-090这张显卡,也仅仅是因为它能在极低的价格下提供CUDA算力的加持罢了。


如图所示,在测评DX11性能的Fire Strike测试中,P106-90在Extreme测试中取得了3287分的图形分数;在测评DX12性能的Time Spy测试中,P106-90在基本测试中取得了2251分的图形分数,这个性能表现和GTX1050差不多,较R5-7640H的核显性能有一定差距。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


存储方面,我们斥资40元购入的这块杂牌128GB Sata SSD硬盘,顺序读写速度达到505.28MB/s和400.09MB/s,随机4K读写达到132.35MB/s和244.29MB/s,尽管和M2 SSD硬盘没得比,但是作为系统启动盘肯定是绰绰有余了。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


至于这对双通道的DDR3内存,使用AIDA64进行内存缓存测试,测得的读取速度为20894 MB/s,写入速度为23629 MB/s,复制速度为20901 MB/s,延迟为67.5ns,给这台电脑用可以说是刚刚好。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


大模型游戏,居然都能跑


既然目的是在几百块钱的预算下,打造出一套可用的本地大模型游戏主机,那么实际体验肯定是我们最关注的一环。


先尝试一下Koblodcpp,这是一款整合Koblod.AI界面的llamacpp启动程序,可以运行目前外网流行的GGUF格式本地大模型,甚至可以整合语音大模型和绘图大模型,实现在对话的同时,生成语音和对应场景的效果。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


遗憾的是,目前在Huggingface上面共享的GGUF格式大模型,其容量大小普遍超过了3GB,即便选用容量大小只有5GB左右的causallm_7b模型,依然会导致显卡显存溢出引发CPU的运算介入,最终导致整个大模型的运行效率降低。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


姑且测试一下,在这种模式下,Kobold.AI的回复最长达到了599s(即10分钟)左右,最短的回复也需要50s来生成左右,和云端大模型平均10s就能提供回复的效果相差甚远,体验确实很一般。


既然如此,我们不妨退而求其次,用英特尔AIGC助手来体验本地大模型,这是一个集成了多种本地大语言模型的演示Demo,致力于在不连接网络的情况下,实现智能人机对话。


在关闭电脑网络的情况下,除开首次部署大模型时需要一定时间外,后续的提问基本上在5秒内都能获得答复,不管是回答问题、翻译还是写作都非常迅速,虽然在应对一些脑筋急转弯或者算术题时依然会出现逻辑错误,但是在这种情况下的整体体验可比之前强太多了。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


当然,角色卡、提示词这些比较高级的功能就肯定用不了了。


再看看AI绘画,我这里使用的是bilibili UP主@整合的绘世启动器,集Stablediffsion WebUI、各种SD插件下载和模型远程使用于一体,算是个相当实用的一体启动器。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


考虑到P106-90仅有3GB的运存限制,我选择了经过剪裁后容量仅为2GB的mistoonAnime MIX_v20模型,实测P106-90生成4张128*160的图片耗时约三分钟,生成4张240*320的图片耗时七到八分钟,而生成1张512*512的图片则需要六分钟左右。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


从实际体验来看,个人建议在减少提示词和插件的情况下,从128*160的图片开始生成,遇到了合适的图片再进行单张图片的AI升格重绘,这样整体的体验还是挺不错的,否则用512*512的规格生成图片,废图概率不是一般的高。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技,用SD生成的图片)


既然本地大模型算是能用,那么游戏体验又怎么样呢?


考虑到实际硬件配置,我们先后测试了《孤岛惊魂6》《古墓丽影:暗影》《F1 2020》以及《地平 线:零之黎明》四款游戏在FHD分辨率下的体验,让我们来看看各自的表现。


在《孤岛惊魂6》的性能测试中,在1920*1080最低画质下,这台电脑的平均帧数为32fps,即便开启FSR性能档,最终游戏帧数也只能在40fps上下波动。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


再看看赛车游戏,在《F1 2020》中,我们开启1920*1080中画质,进行澳大利亚赛道的晴天测试,最终平均帧率可以达到59fps,即便是这张多次服役的矿卡也能流畅运行。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


作为标准测试游戏,《古墓丽影:暗影》自然没有错过这次测试。在没有开启FSR、默认1920*1080最低画质下,这台电脑运行游戏基准测试的平均帧数为50fps,算是这一批3A游戏里最接近稳定60帧的游戏体验。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


最后来个硬茬,《地平线:零之黎明》,因为最低画质也会爆显存的缘故,这台电脑在1280*720最低画质下,才能勉强达到30fps的及格线,只能说不适合游玩了。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


总的来说,受到严苛的带宽限制影响,P106-090的实际性能并不如和它跑分相近的GTX1050,最多就是比Iris Xe 96EU核显略强一些的水平,应付近些年的3A游戏已经有些捉襟见肘了。


总结:确实能跑大模型,但稳定性欠佳


优点:

1、成本预算低廉;

2、确实能运行本地大模型。


缺点:

1、二手零部件无保障;

2、矿卡驱动非常容易掉,白屏问题时有发生。


这款预算300元的电脑主机能用吗?


尽管CPU规格老旧、矿卡表现不稳定,但是这款预算300元的电脑主机确实能完成本地大模型的部署,在文本生成和AI绘图的体验上都没有什么问题,你甚至也能把它当成一台AI PC。


即便运行《孤岛惊魂6》这样的3A大作,这款机子也能在FHD低画质下保证60帧稳定运行,那么应付《英雄联盟》这类网游应该是绰绰有余的,也可以当一台入门的网游主机来用。


我花300块组装的电脑,成功跑通了本地大模型

(图源:雷科技)


那么我对这款电脑主机感到满意吗?


答案是否定的,在实际使用的过程中,P106-90这张矿卡多次出现掉驱动导致电脑白屏,需要用DDDU卸载驱动再重装的情况。如果说这放在测试里还只是有点麻烦的话,那么放在日常使用中肯定是很难让人接受的。


值得注意的是,目前闲鱼上面还有不少和我组装起来的这台机子配置类似的洋垃圾整机,售价普遍在350-400元左右,目标受众很明显是刚上大学或者走出社会的年轻群体,个人建议大伙别去购买这些产品,一分钱一分货可不是开玩笑的。


归根结底,捡垃圾有风险,上车前需谨慎。对于玩腻了高端电脑的玩家来说,偶尔玩玩捡垃圾主机还是很有意思的,但这只是为了乐子,并不是真的打算将其作为主力机长期使用,毕竟捡垃圾主机的配件年久失修且没有质保,万一因为它的故障而丢失了重要数据,那就得不偿失了。


不过,通过用三百块预算完成能运行本地大模型PC的尝试,一定程度上说明,硬件性能可能不是制约AI PC发展的主要因素。至少在普通消费者的使用场景中,相比起算力提升,PC厂商更该做的应该是帮助用户搭建好AI大模型的框架和环境,在系统和软件上给用户带来更好的体验。换句话说,AI PC应该是用户拿到手就能用的,而不是像我们自己组装DIY PC这般折腾。

以上是我花300块组装的电脑,成功跑通了本地大模型的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:雷科技。如有侵权,请联系admin@php.cn删除
ai合并图层的快捷键是什么ai合并图层的快捷键是什么Jan 07, 2021 am 10:59 AM

ai合并图层的快捷键是“Ctrl+Shift+E”,它的作用是把目前所有处在显示状态的图层合并,在隐藏状态的图层则不作变动。也可以选中要合并的图层,在菜单栏中依次点击“窗口”-“路径查找器”,点击“合并”按钮。

ai橡皮擦擦不掉东西怎么办ai橡皮擦擦不掉东西怎么办Jan 13, 2021 am 10:23 AM

ai橡皮擦擦不掉东西是因为AI是矢量图软件,用橡皮擦不能擦位图的,其解决办法就是用蒙板工具以及钢笔勾好路径再建立蒙板即可实现擦掉东西。

谷歌超强AI超算碾压英伟达A100!TPU v4性能提升10倍,细节首次公开谷歌超强AI超算碾压英伟达A100!TPU v4性能提升10倍,细节首次公开Apr 07, 2023 pm 02:54 PM

虽然谷歌早在2020年,就在自家的数据中心上部署了当时最强的AI芯片——TPU v4。但直到今年的4月4日,谷歌才首次公布了这台AI超算的技术细节。论文地址:https://arxiv.org/abs/2304.01433相比于TPU v3,TPU v4的性能要高出2.1倍,而在整合4096个芯片之后,超算的性能更是提升了10倍。另外,谷歌还声称,自家芯片要比英伟达A100更快、更节能。与A100对打,速度快1.7倍论文中,谷歌表示,对于规模相当的系统,TPU v4可以提供比英伟达A100强1.

ai可以转成psd格式吗ai可以转成psd格式吗Feb 22, 2023 pm 05:56 PM

ai可以转成psd格式。转换方法:1、打开Adobe Illustrator软件,依次点击顶部菜单栏的“文件”-“打开”,选择所需的ai文件;2、点击右侧功能面板中的“图层”,点击三杠图标,在弹出的选项中选择“释放到图层(顺序)”;3、依次点击顶部菜单栏的“文件”-“导出”-“导出为”;4、在弹出的“导出”对话框中,将“保存类型”设置为“PSD格式”,点击“导出”即可;

ai顶部属性栏不见了怎么办ai顶部属性栏不见了怎么办Feb 22, 2023 pm 05:27 PM

ai顶部属性栏不见了的解决办法:1、开启Ai新建画布,进入绘图页面;2、在Ai顶部菜单栏中点击“窗口”;3、在系统弹出的窗口菜单页面中点击“控制”,然后开启“控制”窗口即可显示出属性栏。

GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑Apr 04, 2023 am 11:55 AM

Yann LeCun 这个观点的确有些大胆。 「从现在起 5 年内,没有哪个头脑正常的人会使用自回归模型。」最近,图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归,正是当前爆红的 GPT 家族模型所依赖的学习范式。当然,被 Yann LeCun 指出问题的不只是自回归模型。在他看来,当前整个的机器学习领域都面临巨大挑战。这场辩论的主题为「Do large language models need sensory grounding for meaning and u

ai移动不了东西了怎么办ai移动不了东西了怎么办Mar 07, 2023 am 10:03 AM

ai移动不了东西的解决办法:1、打开ai软件,打开空白文档;2、选择矩形工具,在文档中绘制矩形;3、点击选择工具,移动文档中的矩形;4、点击图层按钮,弹出图层面板对话框,解锁图层;5、点击选择工具,移动矩形即可。

强化学习再登Nature封面,自动驾驶安全验证新范式大幅减少测试里程强化学习再登Nature封面,自动驾驶安全验证新范式大幅减少测试里程Mar 31, 2023 pm 10:38 PM

引入密集强化学习,用 AI 验证 AI。 自动驾驶汽车 (AV) 技术的快速发展,使得我们正处于交通革命的风口浪尖,其规模是自一个世纪前汽车问世以来从未见过的。自动驾驶技术具有显着提高交通安全性、机动性和可持续性的潜力,因此引起了工业界、政府机构、专业组织和学术机构的共同关注。过去 20 年里,自动驾驶汽车的发展取得了长足的进步,尤其是随着深度学习的出现更是如此。到 2015 年,开始有公司宣布他们将在 2020 之前量产 AV。不过到目前为止,并且没有 level 4 级别的 AV 可以在市场

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。