> ## Documentation Index > Fetch the complete documentation index at: https://docs.bigmodel.cn/llms.txt > Use this file to discover all available pages before exploring further. # 文本分词器 > `Tokenizer` 用于将文本切分为模型可识别的 `token` 并计算数量。它接收用户输入的文本，通过模型进行分词处理，最终返回对应的 `token` 数量。适用于文本长度评估、模型输入预估、对话上下文截断、费用计算等。 ## OpenAPI ````yaml /openapi/openapi.json post /paas/v4/tokenizer openapi: 3.0.1 info: title: ZHIPU AI API description: ZHIPU AI 接口提供强大的 AI 能力，包括聊天对话、工具调用和视频生成。 license: name: ZHIPU AI 开发者协议和政策 url: https://chat.z.ai/legal-agreement/terms-of-service version: 1.0.0 contact: name: Z.AI 开发者 url: https://chat.z.ai/legal-agreement/privacy-policy email: user_feedback@z.ai servers: - url: https://open.bigmodel.cn/api/ description: 开放平台服务 security: - bearerAuth: [] tags: - name: 模型 API description: Chat API - name: 工具 API description: Web Search API - name: Agent API description: Agent API - name: 文件 API description: File API - name: 知识库 API description: Knowledge API - name: 实时 API description: Realtime API - name: 批处理 API description: Batch API - name: 助理 API description: Assistant API - name: 智能体 API（旧） description: QingLiu Agent API paths: /paas/v4/tokenizer: post: tags: - 模型 API summary: 文本分词器 description: >- `Tokenizer` 用于将文本切分为模型可识别的 `token` 并计算数量。它接收用户输入的文本，通过模型进行分词处理，最终返回对应的 `token` 数量。适用于文本长度评估、模型输入预估、对话上下文截断、费用计算等。 requestBody: content: application/json: schema: $ref: '#/components/schemas/TokenizerRequest' examples: 文本分词示例: value: model: glm-4.6 messages: - role: user content: >- What opportunities and challenges will the Chinese large model industry face in 2025? required: true responses: '200': description: 业务处理成功 content: application/json: schema: $ref: '#/components/schemas/TokenizerResponse' default: description: 请求失败。 content: application/json: schema: $ref: '#/components/schemas/Error' components: schemas: TokenizerRequest: type: object required: - model - messages properties: model: type: string description: 调用的模型代码。 example: glm-4.6v default: glm-4.6v enum: - glm-4.6 - glm-4.6v - glm-4.5 - glm-4.5-air - glm-4-0520 - glm-4-long - glm-4-air - glm-4-flash messages: type: array description: >- 对话消息列表，包含当前对话的完整上下文信息。每条消息都有特定的角色和内容，模型会根据这些消息生成回复。消息按时间顺序排列，支持角色：`system`（系统消息，用于设定`AI`的行为和角色）、`user`（用户消息，来自用户的输入）、`assistant`（助手消息，来自`AI`的回复）。视觉模型支持纯文本和多模态内容（文本、图片、视频、文件）。注意不能只包含系统或助手消息。 items: oneOf: - title: 用户消息 type: object properties: role: type: string enum: - user description: 消息作者的角色 default: user content: oneOf: - type: array description: 多模态消息内容，支持文本、图片、文件、视频（可从上方切换至文本消息） items: $ref: '#/components/schemas/VisionMultimodalContentItem' - type: string description: 文本消息内容（可从上方切换至多模态消息） example: >- What opportunities and challenges will the Chinese large model industry face in 2025? required: - role - content - title: 系统消息 type: object properties: role: type: string enum: - system description: 消息作者的角色 default: system content: oneOf: - type: string description: 消息文本内容 example: You are a helpful assistant. required: - role - content - title: 助手消息 type: object properties: role: type: string enum: - assistant description: 消息作者的角色 default: assistant content: oneOf: - type: string description: 文本消息内容 example: I'll help you with that analysis. required: - role minItems: 1 tools: type: array description: >- 模型可以调用的工具列表。支持函数调用、知识库检索和网络搜索。使用此参数提供模型可以生成 `JSON` 输入的函数列表或配置其他工具。最多支持 `128` 个函数。目前 `GLM-4` 系列已支持所有 `tools`，`GLM-4.5` 已支持 `web search` 和 `retrieval`。 anyOf: - items: $ref: '#/components/schemas/FunctionToolSchema' request_id: type: string description: >- 请求唯一标识符。由用户端传递，`ID`长度要求：最少`6`个字符，最多`64`个字符，建议使用`UUID`格式确保唯一性，若未提供平台将自动生成。 minLength: 6 maxLength: 64 user_id: type: string description: 终端用户的唯一`ID` TokenizerResponse: type: object properties: created: type: integer format: int64 example: 1727156815 id: type: string example: 20241120141244890ab4ee4af84acf description: 智谱开放平台生成的任务序号，调用请求结果接口时请使用此序号。 request_id: type: string example: '1' description: 请求发起时客户端提交的任务号或平台生成的任务号。 usage: type: object properties: prompt_tokens: type: number description: 本次输入的 prompt tokens video_tokens: type: number description: 本次输入的 video tokens image_tokens: type: number description: 本次输入的 image tokens total_tokens: type: number description: 本次输入的总 tokens required: - id - usage Error: type: object properties: error: required: - code - message type: object properties: code: type: string message: type: string VisionMultimodalContentItem: oneOf: - title: 文本 type: object properties: type: type: string enum: - text description: 内容类型为文本 default: text text: type: string description: 文本内容 required: - type - text additionalProperties: false - title: 图片 type: object properties: type: type: string enum: - image_url description: 内容类型为图片`URL` default: image_url image_url: type: object description: 图片信息 properties: url: type: string description: >- 图片的`URL`地址或`Base64`编码。图像大小上传限制为每张图像`5M`以下，且像素不超过`6000*6000`。支持`jpg、png、jpeg`格式。`GLM-5V-Turbo` `GLM4.6V` `GLM4.5V` 系列限制`50`张。`GLM-4V-Plus-0111` 限制`5`张。`GLM-4V-Flash`限制`1`张图像且不支持`Base64`编码。 required: - url additionalProperties: false required: - type - image_url additionalProperties: false - title: 视频 type: object properties: type: type: string enum: - video_url description: 内容类型为视频输入 default: video_url video_url: type: object description: 视频信息。注意：`GLM-4V-Plus-0111` 的 `video_url` 参数必须在 `content` 数组的第一位。 properties: url: type: string description: >- 视频的`URL`地址。`GLM-5V-Turbo` `GLM-4.6V` `GLM-4.5V` 系列视频大小限制为 `200M` 以内。`GLM-4V-Plus`视频大小限制为`20M`以内，视频时长不超过`30s`。对于其他多模态模型，视频大小限制为`200M`以内。视频类型：`mp4`，`mkv`，`mov`。 required: - url additionalProperties: false required: - type - video_url additionalProperties: false - title: 文件 type: object properties: type: type: string enum: - file_url description: >- 内容类型为文件输入(仅`GLM-5V-Turbo` `GLM-4.6V` `GLM-4.5V`支持，且不支持同时传入 `file_url` 和 `image_url` 或 `video_url` 参数) default: file_url file_url: type: object description: 文件信息。 properties: url: type: string description: >- 文件的`URL`地址，不支持`Base64`编码。支持`pdf、txt、word、jsonl、xlsx、pptx`等格式，最多支持`50`个。 required: - url additionalProperties: false required: - type - file_url additionalProperties: false FunctionToolSchema: type: object title: Function Call properties: type: type: string default: function enum: - function function: $ref: '#/components/schemas/FunctionObject' required: - type - function additionalProperties: false FunctionObject: type: object properties: name: type: string description: 要调用的函数名称。必须是 `a-z、A-Z、0-9`，或包含下划线和破折号，最大长度为 `64`。 minLength: 1 maxLength: 64 pattern: ^[a-zA-Z0-9_-]+$ description: type: string description: 函数功能的描述，供模型选择何时以及如何调用函数。 parameters: $ref: '#/components/schemas/FunctionParameters' required: - name - description - parameters FunctionParameters: type: object description: 使用 `JSON Schema` 定义的参数。必须传递 `JSON Schema` 对象以准确定义接受的参数。如果调用函数时不需要参数，则省略。 additionalProperties: true securitySchemes: bearerAuth: type: http scheme: bearer description: >- 使用以下格式进行身份验证：Bearer [](https://bigmodel.cn/usercenter/proj-mgmt/apikeys) ````