内容来自: How to count tokens with Tiktoken
0. 背景
tiktoken是OpenAI开发的一种BPE分词器。 给定一段文本字符串(例如,“tiktoken is great!”)和一种编码方式(例如,“cl100k_base”)&…
编码风格之(8)C特性规范(Google风格)3 Author: Once Day Date: 2024年10月12日 一位热衷于Linux学习和开发的菜鸟,试图谱写一场冒险之旅,也许终点只是一场白日梦… 漫漫长路,有人对你微笑过嘛… 全系列文章可参考专栏: 源码分析_Once-Day的…