Token 三大主流含义(一次性讲清) Token 直译:令牌、标记、凭证,在 AI、互联网登录、区块链三个场景意思完全不同,分开说明: 一、AI 大模型场景(你最常接触:词元) 定义 Token(词元)是大模型读懂文字的最小计算单元,模型不会直接读汉字 / 英文单词,会先把文字切碎成 Token 再运算。 计数规则 英文:1 Token ≈ 0.75 个单词 / 4 个英文字符 中文:1 Token ≈ 1~2 个汉字,标点、数字单独算 Token 两个核心用途 上下文长度限制:每个模型有最大 Token 上限(比如 4k/8k/128k),提问 + 回答总 Token 不能超限,否则会截断内容; 计费单位:AI 接口按输入 + 输出总 Token 扣费,文字越长消耗越多 Token、费用越高。 举例 句子:我爱吃草莓蛋糕。 拆分 Token:我 / 爱 / 吃 / 草莓 / 蛋糕 / 。 → 共 6 个 Token 二、互联网 / 开发场景(登录令牌) 定义 登录成功后服务器下发的一串加密字符串,相当于临时电子通行证,替代账号密码做身份验证。 工作流程 输入账号密码登录,校验通过,服务器生成 Token 发给手机 / 浏览器; 之后每次打开页面、调用接口,自动带上 Token; 服务器只校验 Token 是否有效,不用重复输密码; 特点 有过期时间,到期失效,安全性更高; 典型:JWT、APP 登录凭证、API 访问密钥。 三、区块链 定义 区块链上发行的数字权益凭证,代表使用权、投票权 例子 稳定币 USDT、交易所平台币、游戏道具代币、DAO 治理投票代币; 一句话快速区分 聊 ChatGPT、文心一言、AI 计费 → 词元(文本最小计算单位) 聊网站登录、APP 接口权限 → 登录令牌(身份通行证) #且曼ai训练师就业班 #求职 #就业 #ai #实习