fix(v2): fix "Validar e executar" bug (real root cause), expand generic-phrase blacklist, add FORCE_SEND
Root cause found for why the real Slack message showed "→ Validar e
executar" for nearly every ACTIONABLE_NOW ticket: logic/message.js's
ACTION_LABELS map had a hardcoded entry for ACTIONABLE_NOW that always
won over the AI's actual next_action field in shortActionLabel(). The
AI's real, specific, already-validated-as-non-generic next_action (e.g.
"Realizar inventário das máquinas") was being silently discarded for
display purposes on every single message. Fixed by removing the
ACTIONABLE_NOW entry -- it now falls through to the existing
next_action-based fallback (already there, just unreachable for that
class before). UNASSIGNED_ACTIONABLE intentionally keeps its fixed
"Atribuir técnico" label -- that IS the correct display for that class.
logic/classification.js: expanded GENERIC_NEXT_ACTION_PHRASES with the
exact phrase that leaked through ("validar e executar") plus the
mission's additional list (validar chamado, prosseguir atendimento,
executar chamado, tratar chamado, analisar chamado). Bumped
AI_CLASSIFIER_VERSION 3->4 since this changes what next_action values
validate as non-generic -- forces reclassification of any cached
candidate that only passed under the older, narrower blacklist.
n8n/nodes/validate-ai-response.node.js: generic-next-action rejections
now get their own distinct fallback_reason ('generic_or_unsupported_
next_action') instead of being lumped into 'invalid_json', matching the
same pattern already used for the technician-vendor conflict.
logic/slack.js + logic/config.js: added FORCE_SEND (default false).
Manual-triggered runs now never send for real even with SEND_ENABLED=
true in production, unless FORCE_SEND is also explicitly set -- protects
against someone clicking "Execute Workflow" in production and
accidentally re-sending today's digest.
Added format-safety regression tests (no literal backslash-n, URL never
bleeds into the next item's id, no markdown-wrapped URLs) -- verified
these were never actually triggered in a real send (the reported
corruption was n8n's raw JSON data-inspector view, not a delivered
Slack message; both manual runs in question had shouldSend:false).
169/169 tests passing.
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Sonnet 5
parent
26b06e07d5
commit
124516e64a
@@ -7,7 +7,10 @@ const VALID_CLASSIFICATIONS = [
|
||||
// Versao do prompt/classificador. Bump manual sempre que o system prompt ou as regras de
|
||||
// validacao mudarem de forma que mudaria o julgamento da IA -- forca cache miss em TODO
|
||||
// chamado (ver logic/cache.js -> buildCacheKey), sem precisar apagar a Data Table na mao.
|
||||
const AI_CLASSIFIER_VERSION = 3;
|
||||
// v4: lista de frases genericas rejeitadas expandida ("Validar e executar" e variantes --
|
||||
// missao "correcao final", secao 5). Bump forca reclassificacao de qualquer candidato
|
||||
// cacheado sob a v3 cujo next_action so passava porque a v3 nao conhecia essas frases.
|
||||
const AI_CLASSIFIER_VERSION = 4;
|
||||
|
||||
// O modelo, apesar do schema permitir null de verdade em blocker_type/waiting_for, as vezes
|
||||
// devolve a STRING "null" (ou variantes equivalentes) em vez do valor JSON null. Normaliza
|
||||
@@ -27,10 +30,13 @@ function normalizeNullableString(value) {
|
||||
// do suporte; nas demais classes o campo descreve o que se espera de terceiros, entao uma
|
||||
// frase curta ("aguardar resposta") e legitima ali.
|
||||
const ACTIONABLE_CLASSES_REQUIRING_CONCRETE_NEXT_ACTION = new Set(['ACTIONABLE_NOW', 'UNASSIGNED_ACTIONABLE']);
|
||||
// Lista expandida na missao "correcao final" (secao 5) -- "Validar e executar" era o rotulo
|
||||
// fixo que a mensagem real mostrou pra quase todo ACTIONABLE_NOW (ver logic/message.js).
|
||||
const GENERIC_NEXT_ACTION_PHRASES = new Set([
|
||||
'revisar chamado', 'revisar o chamado', 'dar andamento', 'dar andamento no chamado',
|
||||
'analisar situacao', 'analisar a situacao', 'verificar chamado', 'verificar o chamado',
|
||||
'analisar situacao', 'analisar a situacao', 'analisar chamado', 'verificar chamado', 'verificar o chamado',
|
||||
'acompanhar', 'acompanhar chamado', 'acompanhar o chamado',
|
||||
'validar e executar', 'validar chamado', 'prosseguir atendimento', 'executar chamado', 'tratar chamado',
|
||||
]);
|
||||
|
||||
function normalizeForComparison(text) {
|
||||
|
||||
@@ -133,3 +133,15 @@ test('next_action curto tipo "aguardar resposta" e permitido em classes WAITING_
|
||||
const result = validateAiClassification(validRaw({ classification: 'WAITING_REQUESTER', next_action: 'Aguardar resposta do cliente', actionable_today: false }));
|
||||
assert.equal(result.valid, true);
|
||||
});
|
||||
|
||||
test('"Validar e executar" e rejeitado -- era o rotulo generico que apareceu em quase toda mensagem real (missao "correcao final" secao 5)', () => {
|
||||
const result = validateAiClassification(validRaw({ classification: 'ACTIONABLE_NOW', next_action: 'Validar e executar' }));
|
||||
assert.equal(result.valid, false);
|
||||
});
|
||||
|
||||
test('demais frases genericas da lista expandida sao rejeitadas: "Prosseguir atendimento", "Executar chamado", "Tratar chamado", "Validar chamado", "Analisar chamado"', () => {
|
||||
for (const frase of ['Prosseguir atendimento', 'Executar chamado', 'Tratar chamado', 'Validar chamado', 'Analisar chamado']) {
|
||||
const result = validateAiClassification(validRaw({ classification: 'ACTIONABLE_NOW', next_action: frase }));
|
||||
assert.equal(result.valid, false, `"${frase}" deveria ser rejeitada`);
|
||||
}
|
||||
});
|
||||
|
||||
@@ -33,6 +33,11 @@ function parseConfig(env) {
|
||||
// explicitamente no Config node manda mensagem de verdade.
|
||||
environment: e.ENVIRONMENT || 'dev',
|
||||
sendEnabled: toBool(e.SEND_ENABLED, false),
|
||||
// So importa pra execucoes 'manual' -- protege contra alguem clicar "Execute Workflow" em
|
||||
// producao (SEND_ENABLED=true) e mandar o digest de novo sem querer. Runs agendadas nunca
|
||||
// olham esse campo. Default false: manual nunca envia de verdade sem override explicito
|
||||
// (missao "correcao final", secao 16/17).
|
||||
forceSend: toBool(e.FORCE_SEND, false),
|
||||
};
|
||||
}
|
||||
|
||||
|
||||
+8
-1
@@ -1,6 +1,13 @@
|
||||
// BUG REAL (missao "correcao final", secao 5): ACTIONABLE_NOW tinha um rotulo fixo aqui
|
||||
// ("Validar e executar") que sempre vencia o next_action de verdade da IA -- por isso TODA
|
||||
// mensagem real mostrava a mesma frase generica pra praticamente todo chamado acionavel,
|
||||
// mesmo com a IA ja tendo gerado (e validado como nao-generica, ver logic/classification.js)
|
||||
// um next_action especifico como "Realizar inventario das maquinas". Removido daqui: agora
|
||||
// ACTIONABLE_NOW cai no fallback abaixo, que usa o next_action real (truncado).
|
||||
// UNASSIGNED_ACTIONABLE continua com rotulo fixo de proposito -- pra esse caso "atribuir
|
||||
// tecnico" E a acao real, independente do que o next_action interno da IA descreva.
|
||||
const ACTION_LABELS = {
|
||||
UNASSIGNED_ACTIONABLE: 'Atribuir técnico',
|
||||
ACTIONABLE_NOW: 'Validar e executar',
|
||||
WAITING_APPROVAL: 'Cobrar aprovação',
|
||||
INSUFFICIENT_CONTEXT: 'Completar informação',
|
||||
};
|
||||
|
||||
@@ -50,6 +50,49 @@ test('digest de coordenacao lista apenas os itens passados (novos/alterados)', (
|
||||
assert.ok(digest.includes('#37691'));
|
||||
});
|
||||
|
||||
test('BUG REAL corrigido: ACTIONABLE_NOW mostra o next_action real da IA, nao o rotulo fixo "Validar e executar" -- missao "correcao final" secao 2/5', () => {
|
||||
const item = selectedItem({
|
||||
aiClassification: { classification: 'ACTIONABLE_NOW', next_action: 'Realizar inventário das máquinas', is_fallback: false },
|
||||
});
|
||||
const msg = buildTopMessage([item], '24/08', {});
|
||||
assert.ok(msg.includes('Realizar inventário das máquinas'));
|
||||
assert.ok(!msg.includes('Validar e executar'));
|
||||
});
|
||||
|
||||
test('UNASSIGNED_ACTIONABLE continua mostrando "Atribuir técnico" (rotulo fixo correto, nao e o bug)', () => {
|
||||
const item = selectedItem({
|
||||
aiClassification: { classification: 'UNASSIGNED_ACTIONABLE', next_action: 'Levar patch cord e etiquetar', is_fallback: false },
|
||||
});
|
||||
const msg = buildTopMessage([item], '24/08', {});
|
||||
assert.ok(msg.includes('Atribuir técnico'));
|
||||
});
|
||||
|
||||
test('mensagem nunca contem a sequencia literal de dois caracteres barra-n (bug reportado: \\\\n aparecendo como texto) -- teste obrigatorio #1', () => {
|
||||
const dezItens = Array.from({ length: 10 }, (_, i) => selectedItem({
|
||||
ticket: { ...selectedItem({}).ticket, id: 38600 + i, titulo: `Chamado ${i}` },
|
||||
aiClassification: { classification: 'ACTIONABLE_NOW', next_action: `Diagnosticar item ${i}`, is_fallback: false },
|
||||
}));
|
||||
const msg = buildTopMessage(dezItens, '24/08', {});
|
||||
assert.ok(!msg.includes('\\n'), 'mensagem nao pode conter a sequencia literal barra-n');
|
||||
});
|
||||
|
||||
test('cada URL termina exatamente no ticket_id -- o proximo item nunca vaza pra dentro do link anterior -- teste obrigatorio #3', () => {
|
||||
const dois = [
|
||||
selectedItem({ ticket: { ...selectedItem({}).ticket, id: 38413, link_glpi: 'https://glpi.gtigrupo.com.br/front/ticket.form.php?id=38413' } }),
|
||||
selectedItem({ ticket: { ...selectedItem({}).ticket, id: 38477, link_glpi: 'https://glpi.gtigrupo.com.br/front/ticket.form.php?id=38477' } }),
|
||||
];
|
||||
const msg = buildTopMessage(dois, '24/08', {});
|
||||
assert.ok(msg.includes('id=38413\n'), 'a URL do primeiro chamado deve terminar em id=38413 seguido de quebra de linha real, nao emendar no proximo item');
|
||||
assert.ok(!/id=38413\d/.test(msg), 'nenhum digito deveria colar direto depois do id do primeiro chamado (URL corrompida)');
|
||||
assert.ok(msg.includes('https://glpi.gtigrupo.com.br/front/ticket.form.php?id=38413'));
|
||||
assert.ok(msg.includes('https://glpi.gtigrupo.com.br/front/ticket.form.php?id=38477'));
|
||||
});
|
||||
|
||||
test('URL fica pura (sem colchetes markdown [url](url)) -- Slack ja auto-linka texto puro -- teste obrigatorio #4', () => {
|
||||
const msg = buildTopMessage([selectedItem({})], '24/08', {});
|
||||
assert.ok(!/\[https?:\/\//.test(msg), 'nao deveria embrulhar a URL em markdown [texto](url)');
|
||||
});
|
||||
|
||||
test('mensagem com 10 chamados continua curta (teste obrigatorio #19 -- nao vira relatorio longo)', () => {
|
||||
const dezItens = Array.from({ length: 10 }, (_, i) => selectedItem({
|
||||
ticket: { ...selectedItem({}).ticket, id: 38600 + i, titulo: `Titulo do chamado numero ${i} com texto razoavelmente longo` },
|
||||
|
||||
+12
-6
@@ -7,10 +7,15 @@ function computeMessageHash(text) {
|
||||
return djb2Hash(String(text || ''));
|
||||
}
|
||||
|
||||
// SEND_ENABLED e o unico gate de "isso pode realmente sair pro Slack" -- nunca depende de
|
||||
// editar codigo (missao "finalizacao para producao", secao 22).
|
||||
function shouldSendByConfig(config) {
|
||||
return Boolean(config && config.sendEnabled);
|
||||
// SEND_ENABLED e o gate principal de "isso pode realmente sair pro Slack" -- nunca depende de
|
||||
// editar codigo (missao "finalizacao para producao", secao 22). Runs 'manual' tem uma segunda
|
||||
// trava: mesmo com SEND_ENABLED=true (producao), clicar "Execute Workflow" NAO envia de
|
||||
// verdade a menos que FORCE_SEND tambem esteja ligado -- protege contra envio acidental por
|
||||
// alguem testando/depurando em producao (missao "correcao final", secao 16/17).
|
||||
function shouldSendByConfig(config, runType) {
|
||||
if (!config || !config.sendEnabled) return false;
|
||||
if (runType === 'manual' && !config.forceSend) return false;
|
||||
return true;
|
||||
}
|
||||
|
||||
// Idempotencia: so conta como "ja enviado" um registro com status 'success' para a MESMA
|
||||
@@ -29,8 +34,9 @@ function alreadySentSuccessfully(existingRecords, { reportDate, runType, message
|
||||
// Decisao unica de "devo mandar pro Slack agora" -- centraliza os dois motivos possiveis de
|
||||
// NAO enviar (SEND_ENABLED=false, ou ja enviado com sucesso hoje) num so lugar auditavel.
|
||||
function evaluateSendGuard({ config, existingRecords, reportDate, runType, messageHash }) {
|
||||
if (!shouldSendByConfig(config)) {
|
||||
return { shouldSend: false, reason: 'send_disabled' };
|
||||
if (!shouldSendByConfig(config, runType)) {
|
||||
const reason = runType === 'manual' && config && config.sendEnabled ? 'manual_run_needs_force_send' : 'send_disabled';
|
||||
return { shouldSend: false, reason };
|
||||
}
|
||||
if (alreadySentSuccessfully(existingRecords, { reportDate, runType, messageHash })) {
|
||||
return { shouldSend: false, reason: 'already_sent' };
|
||||
|
||||
@@ -56,6 +56,28 @@ test('evaluateSendGuard: envio duplicado e bloqueado -- teste obrigatorio #15',
|
||||
assert.equal(result.reason, 'already_sent');
|
||||
});
|
||||
|
||||
test('runType manual NAO envia mesmo com SEND_ENABLED=true, a menos que FORCE_SEND tambem esteja ligado -- missao "correcao final" secao 16', () => {
|
||||
const result = evaluateSendGuard({
|
||||
config: { sendEnabled: true, forceSend: false }, existingRecords: [], reportDate: '2026-08-25', runType: 'manual', messageHash: 'abc',
|
||||
});
|
||||
assert.equal(result.shouldSend, false);
|
||||
assert.equal(result.reason, 'manual_run_needs_force_send');
|
||||
});
|
||||
|
||||
test('runType manual envia quando FORCE_SEND esta explicitamente ligado -- missao "correcao final" secao 17', () => {
|
||||
const result = evaluateSendGuard({
|
||||
config: { sendEnabled: true, forceSend: true }, existingRecords: [], reportDate: '2026-08-25', runType: 'manual', messageHash: 'abc',
|
||||
});
|
||||
assert.equal(result.shouldSend, true);
|
||||
});
|
||||
|
||||
test('runType scheduled envia normalmente com SEND_ENABLED=true, independente de FORCE_SEND', () => {
|
||||
const result = evaluateSendGuard({
|
||||
config: { sendEnabled: true, forceSend: false }, existingRecords: [], reportDate: '2026-08-25', runType: 'scheduled', messageHash: 'abc',
|
||||
});
|
||||
assert.equal(result.shouldSend, true);
|
||||
});
|
||||
|
||||
test('evaluateSendGuard: retry (mensagem diferente) apos falha anterior nao e bloqueado', () => {
|
||||
const existing = [{ report_date: '2026-08-25', run_type: 'scheduled', message_hash: 'abc', status: 'failed' }];
|
||||
const result = evaluateSendGuard({ config: { sendEnabled: true }, existingRecords: existing, reportDate: '2026-08-25', runType: 'scheduled', messageHash: 'abc' });
|
||||
|
||||
File diff suppressed because one or more lines are too long
@@ -26,8 +26,14 @@ return responseItems.map((responseItem, index) => {
|
||||
if (validation.valid) {
|
||||
aiClassification = validation.data;
|
||||
} else {
|
||||
// Motivo especifico e auditavel por que a IA caiu pra fallback -- nao joga tudo em
|
||||
// "invalid_json" (missao "correcao final", secao 9: decision_reason distinguivel).
|
||||
const isSemanticConflict = validation.errors.some((e) => e.includes('tecnico interno'));
|
||||
aiClassification = buildFallbackClassification(isSemanticConflict ? 'ai_semantic_conflict' : 'invalid_json');
|
||||
const isGenericAction = validation.errors.some((e) => e.includes('generico demais'));
|
||||
let reason = 'invalid_json';
|
||||
if (isSemanticConflict) reason = 'ai_semantic_conflict';
|
||||
else if (isGenericAction) reason = 'generic_or_unsupported_next_action';
|
||||
aiClassification = buildFallbackClassification(reason);
|
||||
}
|
||||
|
||||
return { json: { ...original, aiClassification } };
|
||||
|
||||
@@ -139,6 +139,12 @@
|
||||
"name": "SEND_ENABLED",
|
||||
"type": "boolean",
|
||||
"value": false
|
||||
},
|
||||
{
|
||||
"id": "cfg-force-send",
|
||||
"name": "FORCE_SEND",
|
||||
"type": "boolean",
|
||||
"value": false
|
||||
}
|
||||
]
|
||||
},
|
||||
|
||||
Reference in New Issue
Block a user