@@ -296,9 +296,10 @@ def byref(obj: CtypesCData, offset: Optional[int] = None) -> CtypesRef[CtypesCDa
296296# LLAMA_VOCAB_PRE_TYPE_GPT2 = 7,
297297# LLAMA_VOCAB_PRE_TYPE_REFACT = 8,
298298# LLAMA_VOCAB_PRE_TYPE_COMMAND_R = 9,
299- # LLAMA_VOCAB_PRE_TYPE_QWEN2 = 10,
300- # LLAMA_VOCAB_PRE_TYPE_OLMO = 11,
301- # LLAMA_VOCAB_PRE_TYPE_DBRX = 12,
299+ # LLAMA_VOCAB_PRE_TYPE_STABLELM2 = 10,
300+ # LLAMA_VOCAB_PRE_TYPE_QWEN2 = 11,
301+ # LLAMA_VOCAB_PRE_TYPE_OLMO = 12,
302+ # LLAMA_VOCAB_PRE_TYPE_DBRX = 13,
302303# };
303304LLAMA_VOCAB_PRE_TYPE_DEFAULT = 0
304305LLAMA_VOCAB_PRE_TYPE_LLAMA3 = 1
@@ -310,9 +311,10 @@ def byref(obj: CtypesCData, offset: Optional[int] = None) -> CtypesRef[CtypesCDa
310311LLAMA_VOCAB_PRE_TYPE_GPT2 = 7
311312LLAMA_VOCAB_PRE_TYPE_REFACT = 8
312313LLAMA_VOCAB_PRE_TYPE_COMMAND_R = 9
313- LLAMA_VOCAB_PRE_TYPE_QWEN2 = 10
314- LLAMA_VOCAB_PRE_TYPE_OLMO = 11
315- LLAMA_VOCAB_PRE_TYPE_DBRX = 12
314+ LLAMA_VOCAB_PRE_TYPE_STABLELM2 = 10
315+ LLAMA_VOCAB_PRE_TYPE_QWEN2 = 11
316+ LLAMA_VOCAB_PRE_TYPE_OLMO = 12
317+ LLAMA_VOCAB_PRE_TYPE_DBRX = 13
316318
317319
318320# // note: these values should be synchronized with ggml_rope
0 commit comments