AI笔记

Appearance

大模型服务 ​

前面说过：大模型应用开发并不是在浏览器中跟AI聊天。而是通过访问模型对外暴露的API接口，实现与大模型的交互。

因此，企业开发大模型应用，首先需要有一个可访问的大模型，通常有两种选择：

  • 使用开放大模型
  • 部署私有大模型

使用开放大模型API的优缺点如下：

  • 优点：
    • 没有部署和维护成本，按调用收费
  • 缺点：
    • 依赖平台方，稳定性差
    • 长期使用成本较高
    • 数据存储在第三方，有隐私和安全问题

部署私有模型：

  • 优点：
    • 数据完全自主掌控，安全性高
    • 不依赖外部环境
    • 虽然短期投入大，但长期来看成本会更低
  • 缺点：
    • 初期部署成本高
    • 维护困难

接下来，我们给大家演示下两种部署方式：

  • 公共大模型
  • 私有大模型（在本机演示，将来在服务器也是类似的）

通常发布大模型的官方、大多数的云平台都会提供开放的、公共的大模型服务。大模型官方前面讲过，我们不再赘述，这里我们看一些国内提供大模型服务的云平台：

云平台公司地址
DeepSeekDeepSeekhttps://www.deepseek.com
阿里百炼阿里巴巴https://bailian.console.aliyun.com
腾讯TI平台腾讯https://cloud.tencent.com/product/ti
千帆平台百度https://console.bce.baidu.com/qianfan/overview
SiliconCloud硅基流动https://siliconflow.cn/zh-cn/siliconcloud
火山方舟-火山引擎字节跳动https://www.volcengine.com/product/ark

这些开放平台并不是免费，而是按照调用时消耗的token来付费，每百万token通常在几毛~几元钱，而且平台通常都会赠送新用户百万token的免费使用权。（token可以简单理解成你与大模型交互时发送和响应的文字，通常一个汉字2个token左右）

接下来，我们分别讲解DeepSeek和阿里巴巴的百炼平台。

DeepSeek模型服务 ​

官方平台地址：

https://platform.deepseek.com/

注册 ​

首次访问，必须注册：

充值 ​

DeepSeek官方对外提供的大模型API服务是需要收费的，因此我们必须注册账号，充值少量金额（1元也行）。

注册成功后即可进入平台管理页面，点击充值选项，进入充值页面：

选择合适的价格充值后，即可使用DeepSeek的官方API服务。

创建API_KEY ​

由于是收费服务，为了防止别人盗用你的账号，DeepSeek的所有API都有权限校验功能。我们需要创建一个鉴权用的API_KEY可以。

点击API Keys选项卡，进入对应页面。第一次进入应该没有API key，可以点击创建API key:

注意：API key只有在创建时可以查看，以后都无法查看了。所以需要在创建时妥善保管自己的API key

OK，准备工作完成。

API文档 ​

访问公共大模型都是通过API的形式，不同模型的API标准略有差异，但基本都兼容OpenAI规范。

接下来，我们一起学习DeepSeek的官方API文档。

地址如下：https://api-docs.deepseek.com/zh-cn/

可以看到，在文档中有这样一段调用对话的API示例：

bash
curl https://api.deepseek.com/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer `DeepSeek API Key`" \
  -d '{
        "model": "deepseek-chat",
        "messages": [
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "Hello!"}
        ],
        "stream": false
      }'

这段信息就描述了调用DeepSeek大模型的API要求：

  • 请求URL：https://api.deepseek.com/chat/completions

  • 请求头：

    • Content-Type: application/json，请求参数的格式，必须是application/json
    • Authorization: Bearer DeepSeek API Key，上一节创建的API_KEY

  • 请求体：json格式，稍后解释

    json
    {
    "model": "deepseek-chat",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "Hello!"}
    ],
    "stream": false
}

  • 请求方式：虽然没说，但是由于带请求体，所以这里用POST方式

测试 ​

我们可以使用任意的Http客户端来测试API：

注意：需要在请求头中添加刚刚我们注册时准备的API_KEY：

阿里巴巴百炼模型服务 ​

我们以阿里云百炼平台为例。

注册账号 ​

首先，我们需要注册一个阿里云账号：

https://account.aliyun.com/

注意：账号需要进行个人实名认证，否则后续会有警告~

然后访问百炼平台，开通服务：

https://bailian.console.aliyun.com/

首次访问会弹出窗口，询问是否同意开通百炼服务：

点击确认开通后，如果未进行实名认证，会提醒账户异常：

点击去认证，申请个人认证即可，此处略过。

首次开通应该会赠送百万token的使用权，包括DeepSeek-R1模型、qwen模型等等，有效期是3~9个月不等。大家可以在《模型控制台》-> 《模型用量》查看到你的免费额度使用情况：

由于阿里爸爸免费赠送了额度，所以我们就跳过充值的过程了。😊

申请API_KEY ​

注册账号以后还需要申请一个API_KEY才能访问百炼平台的大模型。

注册成功后进入阿里云百炼首页，点击模型：

在阿里云百炼平台的左侧菜单的最下方，有一个《密钥管理》选项：

点击后，进入《密钥管理》页面，点击创建API-KEY：

选择创建API-KEY后，会弹出表单，只有一个选项，勾选后点击确定即可：

点击确定，即可生成一个新的API-KEY：

后续开发中就需要用到这个API-KEY了，一定要记牢。而且要保密，不能告诉别人。

体验模型 ​

访问百炼平台，点击模型：

即可进入模型广场：

API文档 ​

点击API参考即可进入API文档页面：

测试 ​

我们使用Http客户端来调试（不要忘了设置API_KEY）：

本地部署 ​

很多云平台都提供了一键部署大模型的功能，这里不再赘述。我们重点讲讲如何手动部署大模型。

手动部署最简单的方式就是使用Ollama，这是一个帮助你部署和运行大模型的工具。官网如下：

https://ollama.com/

下载安装ollama ​

首先，我们需要下载一个Ollama的客户端，在官网提供了各种不同版本的Ollama，大家可以根据自己的需要下载。

下载后双击就会弹出安装界面：

注意：

Ollama默认安装目录是C盘的用户目录，如果不希望安装在C盘的话（其实C盘如果足够大放C盘也没事），就不能直接双击安装了。需要通过命令行安装。

命令行安装方式如下：

在OllamaSetup.exe所在目录打开cmd命令行，然后命令如下：

OllamaSetup.exe /DIR=你要安装的目录位置

运行命令后，同样会弹出刚才的安装窗口，但是安装的位置已经是你设定的位置了。

点击Install即可安装，可以看到安装目录是自定义的D盘，而不是C盘：

OK，安装完成后，还需要配置一个环境变量，更改Ollama下载和部署模型的位置。环境变量如下：

OLLAMA_MODELS=你想要保存模型的目录

环境变量配置方式相信学过Java的都知道，这里不再赘述，配置完成如图：

搜索模型 ​

ollama是一个模型管理工具和平台，它提供了很多国内外常见的模型，我们可以在其官网上搜索自己需要的模型：

https://ollama.com/search

如图，搜索deepseek，可以看到排在第一的是deepseek-r1：

点击进入deepseek-r1页面，会发现deepseek-r1也有很多版本：

这些就是模型的参数大小，越大推理能力就越强，需要的算力也越高。671b版本就是最强的满血版deepseek-r1了。需要注意的是，Ollama提供的DeepSeek是量化压缩版本，对比官网的蒸馏版会更小，对显卡要求更低。对比如下：

比如，我的电脑内存32G，显存是6G，我选择部署的是7b的模型，当然8b也是可以的，差别不大，都是可以流畅运行的。

运行模型 ​

选择自己合适的模型后，ollama会给出运行模型的命令：

复制这个命令，然后打开一个cmd命令行，运行命令即可，然后你就可以跟本地模型聊天了：

注意：

  • 首次运行命令需要下载模型，根据模型大小不同下载时长在5分钟~1小时不等，请耐心等待下载完成。
  • ollama控制台是一个封装好的AI对话产品，与ChatGPT类似，具备会话记忆功能。
  • ollama也提供了供程序访问的HTTP接口，默认地址是http://127.0.0.1:11434/api/chat

Ollama是一个模型管理工具，有点像Docker，而且命令也很像，比如：

bash
  ollama serve      # Start ollama
  ollama create     # Create a model from a Modelfile
  ollama show       # Show information for a model
  ollama run        # Run a model
  ollama stop       # Stop a running model
  ollama pull       # Pull a model from a registry
  ollama push       # Push a model to a registry
  ollama list       # List models
  ollama ps         # List running models
  ollama cp         # Copy a model
  ollama rm         # Remove a model
  ollama help       # Help about any command

测试API ​

Copyright © WangEdgar2026