AbaAba-AI介绍
AbaAba-AI“阿巴阿巴AI”是一款基于RWKV的本地轻量级聊天AI,无需网络完全本地运行,无需显卡纯CPU也可以运行,也就是说配置低的电脑也可以本地运行聊天AI了。
使用方法
环境配置:
推荐Python版本 3.9
需要模块numpy、tokenizers、prompt_toolkit、transformers、flask、flask-socketio、tORCh
运行要求:
最低4G运行内存(CPU+4G内存,可以运行430m的小模型)
最高不限(最高可运行14b的大模型,聊天质量和效果更好)
运行设置:
根据自己电脑配置在模型网站(https://huggingface.co/RWKV) 下载合适的模型
下载的所有文件放在model文件夹内,并修改main.py第12行代码,将'rwkv-4-world-430m'修改为自己下载的模型文件夹
运行main.py,在浏览器中打开http://172.0.0.1:5000 即可开始对话