bench.z.cloud — benchmark clínico independente em português

Série 2 — time completo (10 casos, juiz declarado)

Rodada de 21/10/2026, origem São Paulo. Juiz: deepseek-v4-pro (que também compete — ver nota de transparência abaixo). Ordenado por nota média (0–10). Cobertura = % dos pontos clínicos críticos presentes na resposta, contra gabarito ancorado em diretrizes.

#	Modelo	Origem	Nota	Cobertura	Erros graves	TTFT med.	tok/s
1	deepseek-v4-pro ⚠️	API	9.55	0.54	0	2.5 s	38
2	gpt6-astra	FECHADA	9.36	0.43	0	12.6 s	93
3	glm-5.3	API	9.29	0.54	0	20.1 s	195
4	claude-opus-5	FECHADA	9.26	0.57	0	12.2 s	125
5	kimi-k3	API	9.13	0.70	0	2.4 s	47
6	mimo-flash	PESO ABERTO	8.88	0.53	0	0.3 s	79
7	eas-hy3-sg (Hunyuan)	EAS · SG	8.82	0.47	0	1.1 s	42
8	eas-minimax (MiniMax-M2.7)	EAS · VA	8.78	0.62	0	7.5 s	107
9	qwen3.8-max	API	8.75	0.65	0	1.8 s	57
10	eas-qwen35 (122B-A10B-FP8)	EAS · VA	8.64	0.55	0	1.0 s	57
11	baichuan-m2	PESO ABERTO	8.54	0.55	0	0.3 s	87
12	hy4-preview (Shenzhen)	PESO ABERTO	8.52	0.43	1	1.4 s	16
13	mistral-119b	PESO ABERTO	8.48	0.57	1	0.3 s	120
14	qwen3.8-flash	API	8.48	0.62	0	1.9 s	60
15	baichuan-m3 (médico)	PESO ABERTO	8.29	0.54	1	33.7 s	194
16	eas-hy3 (Hunyuan, Virgínia)	EAS · VA	8.21	0.53	1	0.8 s	37
17	qwen3-vl-plus	API	8.10	0.55	2	1.8 s	54
18	medgemma-27b (médico)	PESO ABERTO	7.35	0.50	0	0.3 s	36
19	antangelmed (médico)	PESO ABERTO	7.04	0.52	0	3.5 s	154
20	qwen3-vl-32b	PESO ABERTO	6.92	0.53	2	0.3 s	57
21	lingshu-32b (médico)	PESO ABERTO	5.21	0.26	3	0.3 s	33
22	granite-4.2	PESO ABERTO	4.65	0.34	6	0.3 s	91
23	lingshu-i-8b (médico)	PESO ABERTO	3.45	0.16	2	0.3 s	75

⚠️ Transparência obrigatória: o 1º lugar desta série é o próprio juiz — nota auto-atribuída, excluída das conclusões. E os casos desta série foram redigidos com auxílio do GLM-5.3, ancorados em diretrizes clínicas (GOLD 2025, PCDTs) — a proveniência de cada caso está declarada na evidência individual. A rodada integral (200 casos, juízes cruzados fora do campo e painel cego de médicos) está em curso.

Smoke v2 — a primeira rodada gravada (10 casos)

20/10/2026 · juiz deepseek-v4-pro · validou a gravação caso a caso e a entrada das fechadas ocidentais no campo.

#	Modelo	Origem	Nota	Cobertura
1	claude-opus-5	FECHADA	9.48	0.60
2	kimi-k3	API	9.47	0.62
3	glm-5.3	API	9.41	0.52
4	gpt6-astra	FECHADA	9.25	0.55
5	deepseek-v4-pro	API	8.90	0.57
6	mistral-119b	PESO ABERTO	8.48	0.57
7	granite-4.2	PESO ABERTO	4.62	0.40

Como a prova funciona

Gravação caso a caso

Cada (caso × modelo) gera um arquivo de evidência próprio: o prompt exato enviado, a resposta crua completa, tempos, tokens, a auto-avaliação objetiva (pontos críticos e proibições, palavra a palavra contra o gabarito) e a nota do juiz com justificativa.

Cadeia de custódia SHA-256

Cada evidência entra num manifesto encadeado: o hash de cada arquivo referencia o hash do anterior. Verificamos a cadeia após cada rodada (série 2: 240/240 elos válidos; smoke: 70/70). Editar qualquer resposta depois da rodada quebra a cadeia e é detectável.

Juiz declarado e rotacionado

O juiz de cada rodada é declarado no cabeçalho da tabela. Juízes competidores têm suas notas marcadas. Rodadas futuras cruzam juízes de famílias diferentes e um painel cego de médicos — se o ranking mudar com o juiz, publicamos as duas tabelas.

Time completo

Abertas (pesos abertos em GPU própria, vLLM), fechadas (APIs ocidentais via OpenRouter) e específicas médicas (Baichuan-M3, MedGemma, Lingshu, AntAngelMed) — a mesma pergunta, o mesmo sistema, a mesma régua.