GameMale
登陆 / 注册 搜索

USERCENTER

SEARCHSITE

搜索

查看: 4277|回复: 141
收起左侧

[投票调查] 坛友们关于本地部署AI有需求或想法吗

  [复制链接] |关注本帖

GM論壇初心者畢業證書黄色就是俏皮巴流·苇名弦一郎瑞雪兆丰年,生灵万物新木柴堆黑神话:悟空沙漠羽蛋

     楼主| tuberosum 发表于 2025-2-25 00:44:12 | 显示全部楼层 |阅读模式 <
           最近两年各家硬件厂商都在宣传本地部署AI大模型的性能,包括大语言模型(LLM)和图像生成(AIGC)等,甚至评价的重心一度已经超过了对于传统生产力的评价。但就我目前了解到的信息来看其实本地部署对于一般用户来说可以说是完全没需求,至少就我身边的人来说,AIGC我还是见过身边的人玩过,但是LLM没人试过,主要仍然是使用开发商提供的在线服务。我自己现在是想尝试一下本地部署的,但是还在摸索阶段。
          考虑到本坛有挺多大佬在自己跑AIGC,所以好奇一下有多少坛友对AI大模型的本地部署感兴趣,以及目前大家用AI的环境都是哪些呢?
    单选投票, 共有 293 人参与投票

    距结束还有: 922 天20 小时32 分钟

    您所在的用户组没有投票权限

    本帖被以下淘专辑推荐:

    回复

    使用道具 举报

    『林中过夜』敖蜃星夏日柯基漂洋小船雪王的心脏男用贞操带夜魔护符我的冶金打火机

      百变小阴 发表于 2025-2-25 00:51:34 | 显示全部楼层 <
      我试过,本地部署特别吃内存或者显存,首先就是硬件要求!
      其次,你要知道大部分模型都是要挂梯子下载的,越是大语言本地模型就越大,你的梯子流量吃得消吗?而且运行起来根据硬件和模型大小,也会十分影响回复速度。你玩线上的ai都很快因为厂家的服务器很靠谱,自己的电脑要是不行的话好几秒一个字,想玩色色相当费劲...
      更别提模型大小还影响智商...
      所以,自娱自乐酒馆就挺好
      哪怕开源的ds,完整版671B想要本地部署有点不可思议了...总而言之有哪个设备的钱,你开个you.com的会员一年也不到一千ai随便玩,怎么看都不合适...
      回复

      举报

      GM論壇進階勛章柏树枝黑暗交易无法消解的怨恨石肤术炼金之心雷霆晶球月亮提灯

        aboab 发表于 2025-2-25 00:54:26 | 显示全部楼层 <
        回复

        举报

        漂洋小船冒险用指南针破损的旧书人鱼之泪雪王的心脏苏格兰圆脸胖鸡[Pro Max]丛林的鸟飞走了不曾寄出的信件幽灵竹筒『随时随地开启!』

          凯诺斯 发表于 2025-2-25 00:54:50 | 显示全部楼层 <
          回复

          举报

          守卫: 坚守眼位裸体克里斯虚空之海的鲸黄粱一梦【新春限定】果体 隆新神的赐福都市:天际线2永远的克叔業火死鬥实现梦想

            娱乐法师火布偶 发表于 2025-2-25 00:55:12 | 显示全部楼层 <
            大语言模型(LLM)消耗的资源比AI绘画可多太多了,个人PC就不太适合部署大模型
            回复

            举报

            『搓粉团珠』石鬼面金钱马车极·龙の意无尽的怀表启程人鱼男子【圣诞限定】心心念念小雪人永远的克叔『随时随地开启!』

              季夏的呆橘 发表于 2025-2-25 00:58:09 | 显示全部楼层 <
              本地部署的AI,太过于智障,还是线上用API,加破限玩瑟瑟的,懒点直接去网页版注册账号就能玩AI聊天,月付的更加智能化简称氪金
              回复

              举报

              萨赫的蛋糕不曾寄出的信件火柴 - Gamemale渐逝忠诚之魂信仰之心喷涌的粪桶暖心小斗篷丹雀衔五穗,人间始丰登虚空之海的鲸无尽的怀表

                惜恨君 发表于 2025-2-25 01:07:20 | 显示全部楼层 <
                虽然「本地部署AI」听起来很好玩、很有吸引力,但实际考虑的结果是:NO。
                首先,对硬件有要求;
                其次,使用场景不多;
                三者,在线AI足以应付很多场景。
                可能再过五年,新的高端机器就会默认配属本地AI,到那时候再看看吧。
                当然,如果是需要本地AI赚钱、搞事业,那肯定就得下下功夫了。
                回复

                举报

                裸体克里斯智力鉴定书诡案谜集·黑夜之星绿茵宝钻无瑕的回忆

                  AncL 发表于 2025-2-25 01:13:26 | 显示全部楼层 <
                  回复

                  举报

                  山猫图腾念念往日士官盔发光的暮色卵冒险专用绳索星芒戒指知识大典龙鳞石破损的旧书

                    poop99 发表于 2025-2-25 01:21:11 | 显示全部楼层 <
                    回复

                    举报

                    月亮提灯吸血魔蝠阿努比斯信徒業火死鬥自定义男从Homunculus虚空之海的鲸璀璨闪蝶『搓粉团珠』

                      归北溟 发表于 2025-2-25 01:21:13 | 显示全部楼层 <
                      用云服务器部署一个连上ds的QQbot应该会挺有用的,对于Q群管理者而言,不知道有没有开发这项技术的人。
                      回复

                      举报

                      40x43 隐形➀格拉迪欧拉斯40x43 隐形➁16x43 隐形➀【新春限定】果体 隆岛田半藏冬之歌

                        莲一 发表于 2025-2-25 01:25:22 | 显示全部楼层 <
                        回复

                        举报

                        森林羊男最终幻想XIV都市:天际线2堕落之舞驯化红龙幼崽驯化黑龙幼崽瑞雪兆丰年,生灵万物新眼镜蛇图腾

                          themental 发表于 2025-2-25 01:40:17 | 显示全部楼层 <
                          回复

                          举报

                          龙腾世纪:审判【新手友好】昆進远古石碑牧羊人GM論壇勛章魔法石碑

                            q425630477 发表于 2025-2-25 01:44:21 | 显示全部楼层 <
                            回复

                            举报

                            裸体克里斯守卫: 坚守眼位自定义男从Homunculus虚空之海的鲸【圣诞限定】心心念念小雪人黑曜石赤螯蝎

                              cinder 发表于 2025-2-25 01:54:55 | 显示全部楼层 <
                              回复

                              举报

                              業火死鬥我的天使GM吸血伯爵吃饱金币的Doge阿拉喵?神灯苏格兰圆脸胖鸡小小舞台永浴爱河肉垫手套御医神兔

                                毛茸茸兽兽 发表于 2025-2-25 01:55:15 | 显示全部楼层 <
                                一般人确实没必要专门弄这些的(´×ω×`)不是专门借此谋生的,使用频率并不高,何必占内存~
                                回复

                                举报

                                守卫: 不可选中『林中过夜』尤利西斯苏醒的格罗姆荒野大镖客:救赎 II夏之歌走出失恋阴影的罗罗幸福的小阿尔

                                  游魂谷 发表于 2025-2-25 02:32:54 | 显示全部楼层 <
                                  回复

                                  举报

                                  守卫: 坚守眼位希德‧海温特威克多尔·克鲁姆未散的宴席林中之蛋自定义男从Homunculus

                                    yota 发表于 2025-2-25 02:56:55 | 显示全部楼层 <
                                    感觉如果加上本地部署我的小破电脑会直接死机的程度XO,如果只是单纯想涩涩感觉在线的已经够用了XO
                                    回复

                                    举报

                                    猎鹰图腾瑞雪兆丰年,生灵万物新特殊-家园卫士Ⓛ特殊-家园卫士Ⓡ勋章空位插槽最终幻想XVI龙腾世纪:审判森林羊男

                                      wzryds 发表于 2025-2-25 03:00:34 | 显示全部楼层 <
                                      回复

                                      举报

                                      牧羊人山猫图腾【新手友好】昆進GM論壇勛章永亘环猎鹰图腾瑞雪兆丰年,生灵万物新

                                        Rg26 发表于 2025-2-25 03:03:35 | 显示全部楼层 <
                                        回复

                                        举报

                                        【新手友好】昆進山猫图腾

                                          JaceBeleren 发表于 2025-2-25 03:08:30 | 显示全部楼层 <
                                          拿苹果的M1 max Mac Studio跑过32BQ4的模型
                                          只能说如果不准备拿来做本地训练或者有其他特殊用途,或者涉及到内容保密性的话
                                          本地部署这事儿还是免了吧
                                          7Token左右的输出速率真的是很难称得上能用

                                          评分

                                          参与人数 1追随 +1 收起 理由
                                          sproot + 1

                                          查看全部评分

                                          回复

                                          举报

                                          您需要登录后才可以回帖 登录 | 立即注册

                                          本版积分规则

                                          文字版|手机版|小黑屋|GameMale

                                          GMT+8, 2025-5-12 04:11 , Processed in 0.180617 second(s), 150 queries , Redis On.

                                          Copyright © 2013-2025 GameMale

                                          All Rights Reserved.

                                          快速回复 返回列表