1
conda create -n langgpt python=3.10 -y
2

3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
4

5
# 安装其他依赖
6
pip install transformers==4.43.3
7

8
pip install streamlit==1.37.0
9
pip install huggingface_hub==0.24.3
10
pip install openai==1.37.1
11
pip install lmdeploy==0.5.2
12

13
apt-get install tmux
14

15
cd /root/project/langgpt
16

17
tmux new -t langgpt
18
tmux a -t langgpt
19

20
conda activate langgpt
21

22
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

1
from openai import OpenAI
2

3
client = OpenAI(
4
    api_key = "internlm2",
5
    base_url = "http://0.0.0.0:23333/v1"
6
)
7

8
response = client.chat.completions.create(
9
    model=client.models.list().data[0].id,
10
    messages=[
11
        {"role": "system", "content": "请介绍一下你自己"}
12
    ]
13
)
14

15
print(response.choices[0].message.content)
16

17
cd /root/project/langgpt
18
python demo.py

1
# Role: 数字大小比较专家
2

3
## Profile
4
- author: JunyaoHu
5
- version: 1.0
6
- language: 中文
7
- description: 比较两个数字大小的专家，可以准确判断两个浮点数之间的大小，不会出现失误。
8

9
## Skills:
10
1. 接收两个浮点数，并判断他们是浮点数
11
2. 比较浮点数的大小
12
3. 给出简单的解释
13

14
## Constraints
15
- 输出思考过程，一步步思考。
16

17
## Workflows
18
1. 获取输入中的两个浮点数。
19
2. 比较这两个浮点数的大小并输出