pg电子游戏试玩版下载
  • 首页
  • pg电子游戏试玩版下载介绍
  • 产品展示
  • 新闻动态
  • 新闻动态你的位置:pg电子游戏试玩版下载 > 新闻动态 > 我把DeepSeek装进了电脑里:生成能力一般,但确实很好玩
    我把DeepSeek装进了电脑里:生成能力一般,但确实很好玩
    发布日期:2025-03-07 13:08    点击次数:138

    图片

    这个春节假期,要说“红得发紫”的科技产品,DeepSeek应该当之无愧。甚至平时对科技新闻毫不在意的长辈们,也走过来问小雷有没有听说过DeepSeek。在我的印象中,上一次AI大模型如此深入人心的,还是OpenAI的ChatGPT。大红大紫的背后,是DeepSeek遭受连续且高强度的网络攻击,大部分时候官网都没办法正常生成内容,即便关闭联网搜索,具备深度推理能力的DeepSeek-R1在线模型还是无法正常使用。好在,在华为等众多科技公司的支持下,第三方平台纷纷接入DeepSeek的API,让稳定在线使用成为了可能。不过这些渠道本质上还是线上访问,春节期间休息的小雷,还想玩一把更大的,比如把DeepSeek大模型部署到本地。于是,在春节期间,小雷动起手来实践了一下。

    图片

    下载慢还得敲代码,打造“AI电脑”不容易事实上,无论是不是DeepSeek,想要在自己电脑部署一个本地大模型,执行的步骤并不多,难点在于寻找到对应的资源和命令。但需要注意的一点是,本地大模型虽说是已经训练好的成品,但也需要有一定的硬件基础,体验才算得上好。

    图片

    (图片来自Ollama)首先,我们可以到Ollama官网下载一个桌面端应用,这个应用相当于一个承载本地大模型的“盒子”,除了DeepSeek之外,你可以在Ollama官网的模型库中找到许多开源大模型。Ollama桌面端并不提供任何控制界面,想要将大模型下载到本地,需要在Ollama官网的模型库当中找到对应模型的代码,复制到PowerShell(Win+R输入PowerShell回车打开)当中,就可以执行模型数据的拉取和安装。

    图片

    (图片来自雷科技)小雷选的是DeepSeek-R1模型当中的7b版本,也就是带有70亿参数的DeepSeek-R1模型,占用4.7GB。本地大模型参数量越大自然是越好,可以提供更精准的语言理解和更高质量的文本生成能力,具备更强的逻辑推理和学习能力,同时知识储备和泛化能力。但本地大模型依赖电脑计算能力,每个人对大模型的需求不同,不应该“硬来”。一般来说,运行1.5B参数的模型最低需要4GB显存的GPU以及16GB的内存,如果达不到要求,则会强行使用CPU进行计算,硬件负担更大,且推理的时间会更长。而满血版的DeepSeek-R1参数量为671b,体积达到404GB,需要更高规格的计算硬件才能负担得起,对于个人部署需求,小雷建议1.5b-8b参数最为适合。

    图片

    (图片来自雷科技)模型数据拉取完毕,系统则会自动执行安装,完成之后就可以直接在PowerShell窗口当中直接调取刚下载的DeepSeek-R1模型,输入框填写问题发送,本地大模型就会推理并生成。到这里,DeepSeek-R1本地大模型的部署就完成了,理论上大家也可以根据这样的方法去部署其它大模型上电脑。但每次开启电脑都要打开PowerShell界面才能激活大模型,对于普通用户而言并不方便,这个时候我们需要给DeepSeek-R1安装一套更直观的交互界面。小雷选择了在Docker应用(图标是一个蓝色海豚)上添加一个Open-WebUI组件,让DeepSeek-R1可以通过浏览器界面交互,并赋予它联系上下文的能力。具体来看,需要先下载Docker桌面端,按照默认的引导完成安装之后(可跳过账号注册等步骤),再次打开PowerShell界面复制并执行以下这条指令,小雷帮大家省下去Github查找的时间了:docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main如果是使用NVIDIA GPU的小伙伴,则需要使用以下这条指令:docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda拉取大模型文件和Open WebUI组件需要一个比较漫长的过程,尤其是网络不太理想(或者没有科学上网)的环境,下载器会不断重试/切换线路,出现下载进度丢失的问题。安装完成之后,Docker应用中就会出现一个Open-WebUI的相关组件,把它勾选启动,再点击“3000:8080”字样的链接,系统就会跳转到网页。

    图片

    (图片来自雷科技)这个时候,你就获得了一台带有AI本地大模型的真正的“AI电脑”了。小雷体验了整个部署过程,步骤并不算复杂,系统的数据拉取和安装都是自动化的,主要还是在搜索命令行和安装资源,以及拉取和安装组件时花了比较多的时间,Ollama和Docker都可以通过百度搜索到,小雷也在上面提供了对应的跳转链接,动手能力且有兴趣的各位可以尝试尝试。当然了,本地部署大模型的方法并不只有这一个,像华为刚推出的ModelEngine等,具备一站式训练优化和一键部署的能力,应该是面向企业端的开发工具。

    图片

    离线使用是好事,但生成能力不如云端版国内的AI大模型应用选择很多,而且网页端服务很齐全,那么本地部署的意义在哪里?前面铺垫了这么多工作准备本地大模型,关键有两点:第一,本地大模型的所有模型数据和对话记录都是完全离线,存储在本地,本地推理响应时间更快,也避免了敏感内容泄露。同时在飞机等无网环境之下,也可以正常使用大模型;第二,本地部署支持各种开源模型,个人用户可以灵活扩展和切换,也可以根据自身需求进行优化和工具集成,总之操作空间会比线上大模型更多。不过小雷部署的时间还不长,许多功能还没摸清楚,这次就简单讨论一下本地大模型的体验如何。小雷安装DeepSeek-R1 7b模型的电脑是机械革命无界14X,轻薄本定位,运行内存为24GB,并没有配备独立显卡这种硬件,不在本地部署大模型的推荐配置范围内,算是一个“反面教材”。换句话说,DeepSeek-R1 7b模型在这款电脑上,需要更多的推理时间和资源占用才能够正常生成内容。

    图片

    (图片来自雷科技)像“饭后胀气”等问题的讨论和答案,大模型需要思考30秒-1分钟才到答案生成阶段,期间电脑的负载会达到高峰,CPU和内存几乎被占满,可以想象没有独立显卡的电脑带动本地大模型会比较吃力,小雷认为给出的答案的确有一定的正向参考的作用。

    图片

    (图片来自雷科技)相比于答案,小雷更感兴趣的还是DeepSeek拟人化的思考过程,很少有AI助手把思考的过程做到如此拟人化,不管生成的答案是否准确,它的拟人化推理过程似乎也能激起许多普通用户的兴趣。如果把同样的问题放在网页端的DeepSeek大模型,并启用R1深度思考,直接生成了一个“服务器繁忙”的回馈,密集的访问的确给DeepSeek造成了不少困扰,这个时候想要正常地和它交谈,本地部署能力不一定很强,至少能够访问得到。

    图片

    (图片来自DeepSeek)再换一个问题,小雷用了一道经典的概率题目向本地DeepSeek-R1 7b发起提问。网页端DeepSeek-R1持续繁忙中,本地DeepSeek可能也有一些手足无措,列举了多种情况后又自行驳回,最后还混入了之前提问的“饭后胀气”的内容,画面显得相当滑稽。

    图片

    (图片来自雷科技)本地DeepSeek在连续输出十多分钟后也没有提供答案,考虑到时间有限,小雷还是停止了生成。只能说数学题目对于70亿参数的DeepSeek-R1 7b还是过于复杂,在线大模型都不一定能够输出准确答案,本地就更成问题了,同时高参数的本地大模型推理的过程中,电脑的负载压力也会拉满。从开源的角度去分析,本地大模型的扩张性和可玩性会比传统的线上大模型更好玩。但本地大模型的部署大家也很清楚,操作起来并不是很容易,想要挖掘更多玩法,还是要靠动手能力强的用户。

    图片

    本地部署DeepSeek,只是图个新鲜好玩?那么,本地大模型值得人手一个吗?小雷的答案是否定的。就现阶段的生成能力来说,本地大模型很难跟线上大模型媲美,参数规模和计算能力摆在那,肯定没法跟正规大模型公司背后的算力集群对比。本地大模型适合动手能力强的电脑用户折腾,深度发掘的确能带来一些功能上的便利,毕竟本地大模型在系统底层中运行,能够更好地与硬件结合。但作为普通用户,部署本身也算不上是一件多容易的事情,大模型的周边配套并没有想象中成熟,Ollama官网全是英文,Docker应用也不提供中文支持,本身在部署上就有较高的门槛。小雷部署一个本地DeepSeek大模型,只是图个新鲜,平均生成用时20秒起步,除了可以离线随处用,普通的生成需求,体验还是不如在线大模型。像读取文件分析、联网收集数据分析这些能力,还需要用户自己来折腾,小雷目前部署的DeepSeek还只是个开始。另外如果你有一天不用了想要删掉大模型数据,还需要学习步骤来清除,否则它就会一直占用系统盘的存储空间。

    图片

    (图片来自mockup)在小雷看来,DeepSeek走开源道路,最主要的原因还是为了打响市场影响力,先行占据市场地位,吸引行业围绕它来建立完善的服务体系。抛开Ollama这些不说,国内众多大模型平台率先接入DeepSeek的API,就是开源带来的直接结果。可以想象,携带超高热度的DeepSeek完成各行业的应用和渗透,个人本地部署的需求也会变得远比现在简单,调起PowerShell界面、敲代码这些事情甚至都不需要用户来做。至于DeepSeek会发展成什么样,小雷还无法预测,被行业高度关注利大于弊,不稳定的服务只是短痛,能够提高市场占比走到普通用户身边,渗透到各个设备,到那个时候,本地部署这件事情或许本身就没有必要了。End

    图片

    2024科技大盘点:

    1、24年最伟大10款科技产品榜单出炉:款款王炸,AI为王!

    2、雷科技编辑2024买了啥?手机、耳机最受宠,可穿戴无人问津?

    手机行业的2024:

    1、2024年十大爆款手机:款款都凶残,国产厉害了

    2、24年国产手机赢麻了!苹果三星全面溃败

    3、2024旗舰手机盘点:影像和AI才是今年的关键词

    4、千元机,逆袭了!!!

    5、2024年,线下手机彻底杀疯了!

    6、2024年,细分手机杀疯了!

    7、果味手机,彻底火了!!!

    8、2024年手机狂卷创新:十大技术起飞,一切为了“更实用”

    9、手机影像卷疯了!九大趋势下,安卓全面碾压iPhone

    10、2024年,年度最无用的手机设计!

    11、24年手机配置开倒车!摄像头减少、屏幕变小,连充电都慢了!

    智能硬件的2024:1、2024年,无线耳机杀疯了!2、2024年的运动相机:大疆GoPro影石斗法,“御三家”死磕产品3、智能清洁的2024:七大硬核技术突破,产品创新空间依然巨大4、2024年平板电脑卷疯了:AI强化生产力,告别“泡面盖”5、2024年教育硬件大爆发!5款经典产品,款款AI驱动6、2024年智能眼镜杀疯了!不只是AI,还有这七大变化7、智能手表2024的五大趋势:健康、AI、颜值、续航…… 8、2024年度电视盘点:MiniLED成白菜价,国产旗舰狂卷画质9、2024年年度游戏机出炉!性能升级成大主题,“移动时代”来了10、智能门锁狂卷2024:价格战、AI化和出海成了主旋律?11、仅重19g!24年鼠标太能卷了:有的带屏幕,有的模块化PC行业的2024:1、2024年8大年度PC榜单出炉:靠设计创新,用AI破局2、PC DIY的2024:从低迷中走出,大厂纷纷押注AIAI软件的2024:1、2024年十大国产大模型盘点:款款超能打,黑马却是这家?2、九大年度APP出炉!要么AI原生应用,要么AI重塑应用3、AI输入法谁最强?2024年度大模型输入法榜单来了!4、AI影像,彻底爆发!!!科技公司的2024:1、苹果的2024:产品平庸,AI遇阻,生态墙倒塌!2、高通骁龙的2024:从移动之王到智能世界的基石3、联发科的2024:甜点芯守基本盘,旗舰芯冲高端,靠AI赢麻了智能汽车的2024:1、2024十大爆款神车出炉!比亚迪占了一半,智能化还只是小众需求2、自主五常销量公布:比亚迪赢麻了,25年五常变四强?3、2024智驾风云榜:华为小鹏争霸,“蔚小理”加速,老车企转身4、2024年汽车十大技术趋势盘点:智能化成了潮水的大方向5、25年车圈淘汰赛加速!哪吒、远航危险了,微小型车被逼上绝路?汽车公司的2024:1、2024,比亚迪活成“卷王”2、2024年,鸿蒙智行彻底杀疯了!!!3、2024深蓝汽车赢麻了!多亏了华为?4、小鹏汽车的2024:上演教科书式逆袭,四面出击下忧患犹存5、理想的2024:Mega出师不利,卖车、智驾、出海步步为营

    6、暴涨300%!赛力斯过肥年:问界太猛了!

    本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报。

    Powered by pg电子游戏试玩版下载 @2013-2022 RSS地图 HTML地图