设为首页收藏本站 🌓 游客问题反映

快捷导航

登陆 / 注册搜索

USERCENTER

SEARCHSITE

搜索

GameMale»首页 › 更多游戏 › 单机游戏 › 求助，使用石豆豆大佬的SillyTarvern生成有点慢 ...

返回列表 发新帖

查看: 852|回复: 4

收起左侧

[问题] 求助，使用石豆豆大佬的SillyTarvern生成有点慢

[复制链接] |关注本帖

“久战久胜，越爱越勇。”

楼主| danj111000 发表于 2024-8-6 00:14:58 | 显示全部楼层 |阅读模式 |关注该作者的回复

50金币

RT，使用该整合版半自动启动，KoboldCPP也用了CuBLAS的模型，但是运行过程中发现CPU占用一直很高，但是GPU好像没怎么跑，我把GPU layer拉到16了。但是好像效果也不是很好，是我的KoboldCPP没有设置正确吗？

我也说一句

发表

楼主新帖

楼主热帖

回复

使用道具举报

千城丶 发表于 2024-8-6 00:28:45 | 显示全部楼层 |关注该作者的回复

楼主您好您的帖子版块发布错误，求助类帖子应该放在单机游戏区哦

danj111000 :OKOK,我看之前那个大佬发在河蟹区了我也就把悬赏发到该板块了，感谢

2024-08-06 18:44 回复

我也说一句

发表

回复

使用道具举报

書圖 发表于 2024-8-6 14:57:29 | 显示全部楼层 |关注该作者的回复

模型在本地跑本来就会很吃你的硬体效能，除非显卡超好，不然快不起来
看提供的是7b模型，猜智商也不会太高，还不如想办法接claude，或者用免钱的gemini,

danj111000 :接API好像不能说一些违规词，所以还是考虑本地了。换模型是可以解决一些问题吗？我今天试一下另一个模型吧

2024-08-06 18:45 回复

我也说一句

发表

回复

使用道具举报

返回列表 发新帖

文字版|手机版|小黑屋|GameMale

GMT+8, 2024-11-21 22:57 , Processed in 0.084301 second(s), 42 queries , Redis On.

Copyright © 2013-2024 GameMale

All Rights Reserved.

快速回复 返回列表