Grok Build para Alembic · Operação honesta

Testes e o Proof Gate real

Separe testes de contrato da fronteira host que prova stdin, auth, streaming e output exato.

Fonte primária

Guia fixado do modo headless

Commit upstream fixado: b189869b7755d2b482969acf6c92da3ecfeffd36

A camada Simples se sustenta sozinha; abra Técnico para contratos exatos e edge cases.

Ao final, você consegue

Nomear o que testes focados provam e o que não conseguem provar.
Ler um sentinel exato como fronteira real de protocolo.
Manter afirmações de Docker e produção fora da prova host.

A grande ideia

Testes unitários provam nossas regras de tradução sem spend nem dependência de CLI instalado. Um smoke real prova outra camada: o binário `grok` publicado aceita `/dev/stdin`, autentica, transmite JSONL, termina com zero e retorna exatamente o sentinel pedido. Os dois são necessários; nenhum substitui o outro.

Pense como… Teste o adapter na bancada e depois conecte-o à tomada real. Uma leitura perfeita na bancada não prova que o prédio tem energia; uma lâmpada acesa não prova cada regra de segurança do adapter. A analogia quebra porque o smoke vivo também exercita uma fronteira remota de modelo.

Casos Vitest focados cobrem construção do comando, isolamento do prompt de argv, shell escaping, gate da flag de permissão, mapeamento do enum effort, desativação obrigatória da busca web nativa, sessões fail-closed, parsing text/end/error, usage incompleto e input malformado.

A fronteira host foi executada em 2026-07-16 com Grok CLI 0.2.101: um prompt entrou por `--prompt-file /dev/stdin`, o processo terminou com 0 e deltas de texto ordenados reconstruíram exatamente `GROK_DEV_STDIN_OK`. O transporte está provado no host macOS atual e é esperado numa futura imagem Linux; Windows nativo, prontidão no Docker e resume de sessão ainda não estão provados.

Evidência: Guia fixado do modo headless

Separe testes de contrato da fronteira host que prova stdin, auth, streaming e output exato.

Compare as fronteiras

Seguro
Seguro: reportar a fronteira e o output exatos de cada gate.

Arriscado
Arriscado: chamar typecheck ou smoke host de “produção completa”.

Superfície	Upstream	Alembic	Veredito
Unit contract	Comportamento determinístico de parser/comando	Vitest	PROVE
Host CLI	Binário + stdin + auth + rede + stream	Exact sentinel	PROVE
Docker / roster	Install na imagem + credenciais + routing	Não exercitado aqui	NOT PROVEN

Código e comandos reais

packages/factory/src/GrokAgentProvider.test.ts + live host

pnpm --filter @alembic/factory test
pnpm --filter @alembic/factory typecheck

printf '%s' 'Reply with exactly GROK_DEV_STDIN_OK.' | \
  grok --prompt-file /dev/stdin --model grok-4.5 \
  --reasoning-effort low --output-format streaming-json \
  --disable-web-search --always-approve --cwd /tmp

# observed text result: GROK_DEV_STDIN_OK
# observed exit: 0

Como chegar lá

sed -n '1,240p' packages/factory/src/GrokAgentProvider.test.ts
grok --version && grok --help | rg "prompt-file|streaming-json|reasoning-effort"

Evidência: RESOURCES.md

Atlas visual

Trace a fronteira: Vitest.

Localize o dono: typecheck.

Compare afirmação e evidência: build.

Leia a sequência: grok 0.2.101.

Encontre o gate de decisão: /dev/stdin.

Trace a fronteira: auth.

Localize o dono: JSONL.

Compare afirmação e evidência: text.

Leia a sequência: end.

Encontre o gate de decisão: exit 0.

Trace a fronteira: sentinel.

Localize o dono: execução Factory.

Compare afirmação e evidência: Docker.

Leia a sequência: relatório.

Prática e feedback

Preveja antes de revelar

Todos os unit tests passam, mas `/dev/stdin` nunca foi testado com o CLI publicado. O transporte está provado?

Não. O contrato está provado; a fronteira externa ainda precisa do sentinel vivo.

Cartões de recuperação

Cartões de recuperaçãoContract testClique ou pressione Enter para virar

Contract testProva comportamento determinístico do adapter.

Cartões de recuperaçãoSentinelClique ou pressione Enter para virar

SentinelOutput exato escolhido para tornar o smoke inequívoco.

Cartões de recuperaçãoReal boundaryClique ou pressione Enter para virar

Real boundaryO binário publicado e o serviço externo realmente executam.

Cartões de recuperaçãoProof scopeClique ou pressione Enter para virar

Proof scopeAs afirmações precisas que um gate consegue sustentar.

Inspecione cada camada de prova

Selecione um gate para ver a afirmação honesta mais forte que ele sustenta.

Veredito

Resumo em quatro slides

Contract test

Prova comportamento determinístico do adapter.

Sentinel

Output exato escolhido para tornar o smoke inequívoco.

Real boundary

O binário publicado e o serviço externo realmente executam.

Proof scope

As afirmações precisas que um gate consegue sustentar.

Teste seu modelo

Revisão espaçada

O que `GROK_DEV_STDIN_OK` provou?

Provou apenas o caminho host CLI stdin/stream; gates de imagem e sessão permanecem separados.

Fontes e próximo movimento

Guia fixado do modo headlessb189869b7755 · headless Guia fixado de gerenciamento de sessõesb189869b7755 · sessions RESOURCES.mdGrok Build para Alembic

Peça ao seu professor para desafiar um veredito, repetir um evento ou revisar uma unidade futura com a mesma disciplina de prova.