本地运行大语言模型,效果一般
简述:
Ollama 是一个平台,可以使用多个模型点击 ;参考文档点击;运行指定模型命令:ollama run qwen2:7b
Ollama 的可视化页面点击:pip3 install open-webui; 运行:open-webui serve首次需要设置账号和密码:http://localhost:8080/ 账号和密码在第一次启动的时候进行设置
构建自己的个人数据库:下载 Anything LLM,新建工作区,上传文件即可
其实在2024年年初的时候就使用这个Ollama这个工具,当时使没有命令行界面,且使用的模型是gemma:2b模型,效果极差,这次使用了阿里的qwen2-7b模型,使用下来的感觉是:响应内容增加了很多,在运行的时候,内存压力急剧增加,准确性较低,速度较慢。构建个人档案库效果还是不理想。总的来说:目前在本地部署大语言模型,依旧是一个玩具,相当鸡肋。当然如果自己懂得Python的话,也许会好点。
废话短说