输出
Llama.generate: 22 prefix-match hit, remaining 1 prompt tokens to eval llama_perf_context_print: load time = 470.48 ms llama_perf_context_print: prompt eval time = 0.00 ms / 1 tokens ( 0.00 ms per token, inf tokens per second) llama_perf_context_print: eval time = 6615.07 ms / 92 runs ( 71.90 ms per token, 13.91 tokens per second) llama_perf_context_print: total time = 6756.77 ms / 93 tokens 🔍 原始回应结构: { "id": "chatcmpl-6024e193-6bb3-4cb2-b261-8343f9901830", "object": "chat.completion", "created": 1752578471, "model": "qwen1_5-0_5b-chat-q8_0.gguf", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "语义图是一种用于表示语言的图结构,它将语言的语法和含义表示为一系列的节点和边。节点代表语言的语法结构,边代表语言的含义。语义图可以用来表示语言的语义关系,例如,一个句子可以表示为一个节点,一个单词可以表示为一个边,一个句子中的词可以表示为一个节点,一个单词中的词可以表示为一个边,等等。" }, "logprobs": null, "finish_reason": "stop" } ], "usage": { "prompt_tokens": 23, "completion_tokens": 91, "total_tokens": 114 } } 🤖 Qwen 回复: 语义图是一种用于表示语言的图结构,它将语言的语法和含义表示为一系列的节点和边。节点代表语言的语法结构,边代表语言的含义。语义图可以用来表示语言的语义关系,例如,一个句子可以表示为一个节点,一个单词可以表示为一个边,一个句子中的词可以表示为一个节点,一个单词中的词可以表示为一个边,等等。