Solo  当前访客:1 开始使用

本地运行大语言模型,效果一般

简述:
Ollama 是一个平台,可以使用多个模型点击 ;参考文档点击;运行指定模型命令:ollama run qwen2:7b
Ollama 的可视化页面点击pip3 install open-webui ; 运行: open-webui serve 首次需要设置账号和密码:http://localhost:8080/ 账号和密码在第一次启动的时候进行设置
构建自己的个人数据库:下载 Anything LLM,新建工作区,上传文件即可


其实在2024年年初的时候就使用这个Ollama这个工具,当时使没有命令行界面,且使用的模型是gemma:2b模型,效果极差,这次使用了阿里的qwen2-7b模型,使用下来的感觉是:响应内容增加了很多,在运行的时候,内存压力急剧增加,准确性较低,速度较慢。构建个人档案库效果还是不理想。总的来说:目前在本地部署大语言模型,依旧是一个玩具,相当鸡肋。当然如果自己懂得Python的话,也许会好点。


标题:本地运行大语言模型,效果一般
作者:temp12138
地址:https://solo.mfyzl.icu/articles/2024/12/08/1733668158551.html

标签:
新一篇: 2024-12-08 旧一篇: zsh compinit、compaudit、chmod g-w xx_dir