本帖最后由 源子 于 2025-2-6 19:12 编辑
全文不需要打任何代码,请放心食用。
直接进入正题,本教程仅作为敲门砖,教大家以最简单的方式本地部署一个能用的AI工具,规避部分隐私、网络和审查风险,门后的世界就请大家自行探索吧。个人本地部署的DeepSeek由于缺少足够的硬件支持,性能肯定不如本体。就算是单位的破烂机子,也可以尝试使用1.5b的蒸馏模型,当个智能的搜索引擎用也是不错的。想要更智能的,就得加钱加硬件上更大的模型了。因为仅做简单介绍,很多参数的作用和使用方式不会进行说明,而不会调参的话使用起来肯定与预期有很大差距,这就需要大家自行了解了。
本教程部分参考自B站UP NathMath的视频,如果部署中遇到预计外的问题可以点进去深入了解。
一个好用的梯子(非必需,但有会更方便)
步骤1:
按照你的系统类型,分别下载好上述工具,楼主是win系统,差别理论上来说不大,接下来的教程都将以win系统开展。LM_Studio推荐下载我给的Beta版,支持网络代理,下载模型的时候不容易出问题。
步骤2:
打开LM_Studio,可以先将语言调成中文,点击右下角的齿轮,如图。
步骤3:
本步骤主要是为了方便开启局域网服务,如果你不需要这个或者不明白是什么意思,可直接跳到步骤4,不影响后续使用。点击左侧栏的开发者一栏,点击settings,全部选中。如图。
步骤4:
在当前界面选择LM运行时,点击model search,在搜索框输入deepseek,选择8b后缀的模型(简单来说,越大的模型性能越接近本体,但需要的硬件要求也就更高),点击右下角的按钮。如果你没安装,首次运行需要下载,大约需要4.9GB的空间。如图。
(如果下载加载不出来,请使用梯子,并在LM的设置里面勾选Use LM Studio's Hugging Face Proxy(Beta版才有))
步骤5:
下载完成后,跳转到聊天界面。选中刚刚下载好的模型,调好参数(初次使用直接默认即可),加载完成后即可愉快地开始使用了!至此教程初步结束。
PS:
如果需要提供局域网服务,LM Studio也可作为服务端,可在开发者一栏开启,并搭配ChatBox作为客户端,使用LM Studio的API接口即可开始使用,由于是入门式的教程,不再过多赘述。
全程没有多余的废话(有用的话也不多)。
本地部署的DeepSeek同样自带审查机制,但是肯定没有直连官方本体那么严格,具体如何破限,请自行散发想象力吧。 需知:师傅领入门,瑟瑟在个人。 日后被请去喝茶不要把为师供出来就好。
都看到这里了不妨给楼主点一个免费的追随吧~
|