坛友们关于本地部署AI有需求或想法吗
最近两年各家硬件厂商都在宣传本地部署AI大模型的性能，包括大语言模型（LLM）和图像生成（AIGC）等，甚至评价的重心一度已经超过了对于传统生产力的评价。但就我目前了解到的信息来看其实本地部署对于一般用户来说可以说是完全没需求，至少就我身边的人来说，AIGC我还是见过身边的人玩过，但是LLM没人试过，主要仍然是使用开发商提供的在线服务。我自己现在是想尝试一下本地部署的，但是还在摸索阶段。考虑到本坛有挺多大佬在自己跑AIGC，所以好奇一下有多少坛友对AI大模型的本地部署感兴趣，以及目前大家用AI的环境都是哪些呢？
我试过，本地部署特别吃内存或者显存，首先就是硬件要求！
其次，你要知道大部分模型都是要挂梯子下载的，越是大语言本地模型就越大，你的梯子流量吃得消吗？而且运行起来根据硬件和模型大小，也会十分影响回复速度。你玩线上的ai都很快因为厂家的服务器很靠谱，自己的电脑要是不行的话好几秒一个字，想玩色色相当费劲...
更别提模型大小还影响智商...
所以，自娱自乐酒馆就挺好
哪怕开源的ds，完整版671B想要本地部署有点不可思议了...总而言之有哪个设备的钱，你开个you.com的会员一年也不到一千ai随便玩，怎么看都不合适... 有些ai会有限制，但是本地部署实在是太需要硬件条件了 我的电脑配置支撑不起本地部署惹{:3_59:} 大语言模型（LLM）消耗的资源比AI绘画可多太多了，个人PC就不太适合部署大模型 本地部署的AI，太过于智障，还是线上用API，加破限玩瑟瑟的，懒点直接去网页版注册账号就能玩AI聊天，月付的更加智能化{:6_180:}简称氪金 虽然「本地部署AI」听起来很好玩、很有吸引力，但实际考虑的结果是：NO。
首先，对硬件有要求；
其次，使用场景不多；
三者，在线AI足以应付很多场景。
可能再过五年，新的高端机器就会默认配属本地AI，到那时候再看看吧。
当然，如果是需要本地AI赚钱、搞事业，那肯定就得下下功夫了。
本地部署不了一点 买了个阿里云68一年的服务器 申请了ds的api 直接上云爽歪歪 本地部署成本太大了，也没有很大的AI需求 用云服务器部署一个连上ds的QQbot应该会挺有用的，对于Q群管理者而言，不知道有没有开发这项技术的人。 一般都是线上使用，本地部署还没了解过欸{:6_194:} 从个人角度来说肯定是想搞得
主要是碍于各种各样的限制 最近也在研究本地部署deepseek，不是很麻烦，但是内容相对会比较滞后 沒有耶,感覺線上提供的各種免費已經擺弄不過來了. 一般人确实没必要专门弄这些的(´×ω×`)不是专门借此谋生的，使用频率并不高，何必占内存～ 完全没有条件支撑本地部署。。。崩溃 感觉如果加上本地部署我的小破电脑会直接死机的程度XO，如果只是单纯想涩涩感觉在线的已经够用了XO 只本地搞过绘画的，其余的太麻烦了 电脑撑不住，只能用非本地部属的AI来玩 拿苹果的M1 max Mac Studio跑过32BQ4的模型
只能说如果不准备拿来做本地训练或者有其他特殊用途，或者涉及到内容保密性的话
本地部署这事儿还是免了吧
7Token左右的输出速率真的是很难称得上能用