LLM令牌计数器

PromptTokenizer

PromptTokenizer是一款免费工具，用于统计和可视化LLM令牌。它展示GPT-4、Claude 3.5、Llama 3和Gemini如何对提示进行分词，帮助估算成本和比较模型。