Vi kör öppna språkmodeller på egna GPU:er med vLLM. Den här ändringen ger OpenAI:s gpt-oss det dess chattformat Harmony behöver, och bara den – resten av servrarna får inget de inte använder.
9d3f804
vllm: give tiktoken's encodings only to a Harmony server
Kompismoln/o11n