使用到的工具
- docker
- oneapi + fastgpt
- ollama
安装docker
已安装有docker的话跳过这一步
执行命令安装docker（一行一行执行）
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
执行命令安装docker-compose（速度会比较慢）
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
如果github很慢可以把地址替换成镜像站
curl -L https://hub.nuaa.cf/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
等待安装结束后，执行命令启动docker sudo systemctl start docker
输入命令docker -v和docker-compose -v，若出现版本号信息则说明docker已经安装成功
安装fastgpt
创建一个文件夹，然后进入这个文件夹，然后下载两个文件
mkdir /usr/local/fastgpt
cd /usr/local/fastgpt/
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
执行命令启动容器（第一次启动会先下载所有镜像）
docker-compose up -d
配置oneapi
我们先不使用本地大模型，先使用第三方提供的线上版本
去【零一万物】注册一个账号，因为零一万物注册就送额度，不需要充钱，我们先拿它来做测试。
到api key管理页面获取一个key，这个key保存好后面要用到。 
用户名：root；密码：123456，点击绿色登录 
点击【测试】按钮，右上角出现成功提示，则说明配置成功了
修改config.json
oneapi配置成功后，接下来就是去fastgpt测试使用了，但是在这之前，需要修改之前下载的两个文件中的config.json文件，才能生效。
找到llmModels字段，上面已经存在了几个配置，我们在后面复制粘贴一个，然后把model和name两个字段改成刚在oneapi上配置的，看图：
改完后保存，然后重启服务：
docker-compose down
docker-compose up -d
配置fastgpt
浏览器进入，进入fastgpt登录页面
账号root，密码1234，点击登录
创建一个新应用 
安装ollama
ok，使用线上第三方平台的大模型已经成功了，现在开始部署本地大模型来测试
进入ollama官网点击下载，下载自己系统的安装包，可以看到linux已经准备好命令了
直接使用官网给的命令下载curl -fsSL https://ollama.com/install.sh | sh 
ollama默认绑定的是127.0.0.1:11434，内网其他机器是无法访问的，需要修改环境变量，打开/etc/systemd/system/ollama.service文件，修改Environment的值为：“OLLAMA_HOST=0.0.0.0”
保存，然后重启ollama服务
systemctl daemon-reload
systemctl restart ollama
重启好后，在浏览器进入地址：看到如下界面说明ollama已经安装并且配置成功
在ollama中安装大模型
在ollama官网右上角可以搜索你想要的大模型，我搜索【qwen】，进入模型详情页后，可以选择版本，这里我选择了最低的版本，你们可以根据你们的服务器情况选择合适的版本，右边已经给出了下载模型的命令，复制执行。
模型下载好后会自动进入，这时候就可以进行对话了，按ctrl+D退出
将本地模型接入oneapi中
浏览器进入 刚才有操作过的，新建一个渠道，填写相关内容
-
模型一栏选择【ollama】
-
名称随便写
-
模型这里要注意，首先先点击【清除所有模型按钮】，把自动填充的模型清除掉，然后在右侧输入框手动输入ollama里下载的模型名称，这个模型名称可以通过
ollama list命令得到，名称一定要写完全一致，然后点击右侧【填入按钮】
继续填写：
- 密钥：sk-key（固定写死就填这个）
- 代理：（就是本地安装的ollama的地址）
点击提交，然后再回到渠道列表页，点击测试刚新添加的模型，右上角出现成功提示
接下来的步骤和之前测试零一万物时的步骤就一样了：
- 在config.json中新添加一个配置
- 重启服务
- 在fastgpt中新建应用
- 在这个应用中选择新添加的模型
- 点击【保存并预览】按钮
- 然后就可以在fastgpt中与本地的大模型对话了
安装m3e向量模型，接入本地知识库
与本地模型进行对话已经实现了，现在需要将大模型对接到本地的知识库，那么就要安装向量模型
使用docker安装，下载时间会比较长：
docker run registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
在oneapi中新建渠道，类型选择OpenAi，名称随便写，模型手动填入“m3e”，密钥写【sk-aaabbbcccdddeeefffggghhhiiijjjkkk】，代理写
完成后去config.json中增加一个向量模型配置，这次和之前的不一样了，之前都是在llmModels里加的，向量模型需要加在vectorModels里；并且需要把之前新增的本地qwen模型中的datasetProcess改为true，这样在后续fastgpt中知识库中才能选到这个模型。
重启服务后，进入fastgpt，知识库中新建一个知识库，索引模型选择刚新建的向量模型m3e，文件处理模型选择之前在ollama里安装的模型，然后点击【确认创建】按钮
会默认有一个【手动录入】的文件夹，我们进这个文件夹手动录入一个数据测试
回到应用里，关联上这个知识库，然后点击【保存并预览】
就可以进行对话了，问一些刚才在知识库里相关的问题
也可以往知识库里上传一份文档让它分析 
可以看到目前回答的还不太理想，后续可以使用高级编排功能，或者更换其他语言模型尝试
如何学习AI大模型？
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
本文转自 https://juejin.cn/post/7366981996620890163?searchId=20241023110352800AE7C03D3E595CD599，如有侵权，请联系删除。