书生大模型实战营-MindSearch CPU-Only 版部署 本节任务要点 按照教程,将 MindSearch 部署到 HuggingFace 并美化 Gradio 的界面,并提供截图和 Hugging Face 的Space的链接。 实践流程随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务(免费的 InternLM2.5-7B-Chat 真的很香),MindSearch 的部署与使用也就迎来了纯 CPU 版本,进一步降低了部署门槛。 2024-10-03 课外学习 #大模型
书生大模型实战营-茴香豆:企业级知识问答工具实践 本节任务要点 在 InternStudio 中利用 Internlm2-7b 搭建标准版茴香豆知识助手,并使用 Gradio 界面完成 2 轮问答(问题不可与教程重复,作业截图需包括 gradio 界面问题和茴香豆回答)。知识库可根据根据自己工作、学习或感兴趣的内容调整,如金融、医疗、法律、音乐、动漫等(优秀学员必做)。 实践流程尝试将茴香豆从源码部署到本地服务器(以 InternlmStudi 2024-10-03 课外学习 #大模型
书生大模型实战营-L2-InternVL微调实践 本节任务要点 follow 教学文档和视频使用QLoRA进行微调模型,复现微调效果,并能成功讲出梗图. 实践流程准备InternVL模型我们使用InternVL2-2B模型。该模型已在share文件夹下挂载好,现在让我们把移动出来。 1234mkdir -p /root/project/joke/modelcp -r /root/share/new_models/OpenGVLab/Intern 2024-10-02 课外学习 #大模型
书生大模型实战营-L2-LMDeploy量化部署实践 本节任务要点 使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发(优秀学员必做),请注意2.2.3节与4.1节应使用作业版本命令。 使用Function call功能让大模型完成一次简单的”加”与”乘”函数调用,作业截图需包括大模型回复的工具调用情况,参考4 2024-10-02 课外学习 #大模型
书生大模型实战营-L2-Lagent自定义你的Agent智能体 本节任务要点 使用 Lagent 自定义一个智能体,并使用 Lagent Web Demo 成功部署与调用,记录复现过程并截图。 实践流程环境配置开发机选择 30% A100,镜像选择为 Cuda12.2-conda。 12345678910111213141516171819# 创建环境conda create -n agent_camp3 python=3.10 -y# 激活环境conda 2024-10-02 课外学习 #大模型
书生大模型实战营-L1-OpenCompass评测InternLM-1.8B实践 本节任务要点 使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能,记录复现过程并截图。 实践流程环境配置(现在numpy有2.0版本了,加一个限制)镜像为 Cuda11.7-conda,并选择 GPU 为10% A100。 12345678910111213conda create -n opencompass python=3.10c 2024-10-01 课外学习 #大模型
书生大模型实战营-L1-XTuner微调个人小助手认知 本节任务要点 使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知,(xx同志需替换成自己的昵称),记录复现过程并截图。 实践流程环境准备(现在numpy有2.0版本了,加一个限制)12345678910111213141516171819202122232425262728# 创建虚拟环境conda create -n xtuner0121 python=3. 2024-10-01 课外学习 #大模型
书生大模型实战营-L1-InternLM + LlamaIndex RAG 实践 本节任务要点 任务要求:基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答,借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力,截图保存。 实践流程新开一个30% A100机器 Cuda11.7-conda 镜像 不要选错/用之前的那个!!! 2024-10-01 课外学习 #大模型
书生大模型实战营-L1-浦语提示词工程实践 本节任务要点 背景问题:近期相关研究发现,LLM在对比浮点数字时表现不佳,经验证,internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题,例如认为13.8<13.11。 任务要求:利用LangGPT优化提示词,使LLM输出正确结果。完成一次并提交截图即可 实践流程12345678910111213141516171819202122conda crea 2024-09-30 课外学习 #大模型
书生大模型实战营-L1-8G显存玩转书生大模型Demo 本节任务要点基础任务(完成此任务即完成闯关) 使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署,并生成 300 字小故事,记录复现过程并截图。 进阶任务(闯关不要求完成此任务) 使用 LMDeploy 完成 InternLM-XComposer2-VL-1.8B 的部署,并完成一次图文理解对话,记录复现过程并截图。 使用 LMDeploy 完成 InternVL2 2024-09-30 课外学习 #大模型