Token 分配不患寡而患不均

公司大力支持全员用 AI 来辅助提升效率，首先得配齐工具 + LLM。

工具好下载，LLM token 分配成了难题。直接调模型公司的 LLM API，费用太高。

那给某些研发部门私下开研发套餐（成本有点高），别的部门看到了，也想要，于是找到老板那里投诉说不公平。

因为成本控制，研发套餐不可能人手一个，于是就成了在成本范围内按比例分配给各个研发部门，内部共享使用。没有分配到套餐的，则发放用量受限的 LLM API。

最终看着是公平了，但软件研发团队等需要大量研发套餐的团队可用量变少了，开发中捉襟见肘。其他团队都有了，但很难用得完，互相借又担心被用完，借出去也有顾虑。不均的怨气是没有了，但受害的就是公司整体效率和 token 利用率。

假设只给用得多的人配研发套餐呢？这会导致很多人去做无谓消耗，只为拿到研发套餐。引导方式也不大对。

如果是我会怎么做？ 只能做到基础的公平。

• 所有有按量付费LLM API的基础额度，保证基础的公平。
• 研发团队，按工作复杂度来配置高价格研发套餐，并监测套餐用量情况，月度调整配置数。
• 办公/研发效率AI使用成本由使用部门承担。
  • 在年终核算的时，把AI使用成本核算到每个部门成本中，让能用AI提高人效或者有更多产出的团队有更好的绩效与奖金包。
  • 部门自己掌控预算是用在AI还是人上。

注：业务系统上用到 LLM API 量，算业务运行成本，与云服务器租用成本一样。但要隔离以限制此类API不能被办公等跨场景调用。