Re-review of afa350d found that the correlated-subquery rewrite in
listLeads regressed any page landing in a large sort-tie block (e.g. the
default prioridade:asc sort's prioridade=4/score=0 bucket): SQLite's block
sort materializes the whole tied group before LIMIT/OFFSET apply, so the
shared-number subqueries got evaluated for the entire block instead of just
the page (measured 8-9x slower on page 2+ of a 60k-row fixture).
Split listLeads into two queries: a cheap id-only pass that does the
sorting/pagination (same cost as before the shared-number feature existed),
then a hydrate pass scoped to WHERE leads.id IN (...) for just that page's
ids, which is where the shared-number subqueries now run. getLead was
already a single-id lookup and didn't need this.
Also fixed the accompanying test, which only checked page 1 (a small,
already-sorted block) and so couldn't have caught the regression it was
meant to guard against; it now also checks a page landing inside the large
tied block.
313 lines
14 KiB
JavaScript
313 lines
14 KiB
JavaScript
import test from 'node:test';
|
|
import assert from 'node:assert/strict';
|
|
import path from 'node:path';
|
|
import fs from 'node:fs/promises';
|
|
import { fileURLToPath } from 'node:url';
|
|
|
|
const root = path.dirname(path.dirname(fileURLToPath(import.meta.url)));
|
|
|
|
test('package e ambiente usam identidade e caminhos pessoais', async () => {
|
|
const pkg = JSON.parse(await fs.readFile(path.join(root, 'package.json'), 'utf8'));
|
|
assert.equal(pkg.name, 'maquina-comercial-pessoal');
|
|
assert.equal(pkg.dependencies.baileys, '7.0.0-rc14');
|
|
assert.equal(pkg.dependencies.qrcode, '1.5.4');
|
|
|
|
const previous = { ...process.env };
|
|
delete process.env.APP_PORT;
|
|
delete process.env.APP_DB_PATH;
|
|
delete process.env.APP_WHATSAPP_AUTH_DIR;
|
|
const env = await import(`../src/env.mjs?personal=${Date.now()}`);
|
|
assert.equal(env.APP_PORT, 3910);
|
|
assert.equal(env.paths.db, path.join(root, 'data', 'maquina-pessoal.db'));
|
|
assert.equal(env.paths.whatsappAuth, path.join(root, 'data', 'runtime', 'whatsapp-auth'));
|
|
process.env = previous;
|
|
});
|
|
|
|
test('schema pessoal possui opt-outs e identificador generico de mensagem', async () => {
|
|
const { openDb } = await import('../src/db.mjs');
|
|
const db = openDb(':memory:');
|
|
const tables = db.prepare("SELECT name FROM sqlite_master WHERE type='table'").all().map(({ name }) => name);
|
|
assert.ok(tables.includes('outreach_opt_outs'));
|
|
const columns = db.prepare('PRAGMA table_info(outreach_sends)').all().map(({ name }) => name);
|
|
assert.ok(columns.includes('provider_message_id'));
|
|
assert.ok(!columns.includes('zpro_ticket_id'));
|
|
db.close();
|
|
});
|
|
|
|
test('settings pessoais sao conservadores e nao incluem credenciais corporativas', async () => {
|
|
const { openDb, seedSettings, getSetting } = await import('../src/db.mjs');
|
|
const db = openDb(':memory:');
|
|
seedSettings(db);
|
|
assert.equal(getSetting(db, 'outreach.ativo'), 'false');
|
|
assert.equal(getSetting(db, 'outreach.mensagensPorDia'), '10');
|
|
assert.equal(getSetting(db, 'outreach.intervaloMinMs'), '5000');
|
|
assert.equal(getSetting(db, 'outreach.intervaloMaxMs'), '12000');
|
|
assert.equal(db.prepare("SELECT COUNT(*) total FROM settings WHERE key LIKE 'zpro.%' OR key LIKE 'gchat.%'").get().total, 0);
|
|
db.close();
|
|
});
|
|
|
|
test('helpers de opt-out adicionam, listam, consultam e removem sem o reset apagar', async () => {
|
|
const { openDb, addOptOut, listOptOuts, isOptedOut, removeOptOut, resetLeadsBase } = await import('../src/db.mjs');
|
|
const db = openDb(':memory:');
|
|
addOptOut(db, '55 (11) 99999-0001', 'pedido do contato');
|
|
assert.equal(isOptedOut(db, '5511999990001'), true);
|
|
assert.equal(listOptOuts(db)[0].motivo, 'pedido do contato');
|
|
resetLeadsBase(db);
|
|
assert.equal(isOptedOut(db, '5511999990001'), true);
|
|
assert.equal(removeOptOut(db, '5511999990001'), true);
|
|
assert.equal(isOptedOut(db, '5511999990001'), false);
|
|
db.close();
|
|
});
|
|
|
|
test('opt-out bloqueia e remove as formas equivalentes com e sem nono digito', async () => {
|
|
const { openDb, addOptOut, isOptedOut, removeOptOut } = await import('../src/db.mjs');
|
|
const db = openDb(':memory:');
|
|
addOptOut(db, '5575999091780', 'solicitado');
|
|
assert.equal(isOptedOut(db, '557599091780'), true);
|
|
assert.equal(removeOptOut(db, '557599091780'), true);
|
|
assert.equal(isOptedOut(db, '5575999091780'), false);
|
|
db.close();
|
|
});
|
|
|
|
test('listagem e detalhe derivam o estado da verificacao equivalente mais recente', async () => {
|
|
const { openDb, saveWhatsAppVerification } = await import('../src/db.mjs');
|
|
const { getLead, listLeads } = await import('../src/treatment/queries.mjs');
|
|
const db = openDb(':memory:');
|
|
const inserted = db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido)
|
|
VALUES ('telefone:5575999091780', 'Lead verificado', '5575999091780', 1)`
|
|
).run();
|
|
|
|
saveWhatsAppVerification(db, {
|
|
numero: '5575999091780',
|
|
status: 'confirmado',
|
|
numeroResolvido: '5575999091780',
|
|
variante: 'exata'
|
|
});
|
|
saveWhatsAppVerification(db, {
|
|
numero: '557599091780',
|
|
status: 'nao_cadastrado'
|
|
});
|
|
db.prepare("UPDATE whatsapp_number_verifications SET checked_at = '2026-07-29 12:00:00'").run();
|
|
|
|
const cached = db.prepare(
|
|
'SELECT numero, rowid FROM whatsapp_number_verifications ORDER BY rowid'
|
|
).all();
|
|
assert.deepEqual(cached.map((row) => row.numero), ['5575999091780', '557599091780']);
|
|
assert.ok(cached[1].rowid > cached[0].rowid);
|
|
|
|
const detail = getLead(db, Number(inserted.lastInsertRowid));
|
|
assert.equal(detail.whatsapp_status, 'nao_cadastrado');
|
|
assert.equal(detail.whatsapp_numero_resolvido, null);
|
|
assert.equal(detail.whatsapp_checked_at, '2026-07-29 12:00:00');
|
|
assert.equal(detail.telefone_valido, 1);
|
|
|
|
const listed = listLeads(db).rows[0];
|
|
assert.equal(listed.whatsapp_status, 'nao_cadastrado');
|
|
assert.equal(listed.whatsapp_numero_resolvido, null);
|
|
assert.equal(listed.whatsapp_checked_at, '2026-07-29 12:00:00');
|
|
assert.equal(listed.telefone_valido, 1);
|
|
|
|
saveWhatsAppVerification(db, {
|
|
numero: '5575999091780',
|
|
status: 'confirmado',
|
|
numeroResolvido: '557599091780',
|
|
variante: 'sem_nono_digito'
|
|
});
|
|
db.prepare("UPDATE whatsapp_number_verifications SET checked_at = '2026-07-29 12:00:00'").run();
|
|
const updated = getLead(db, Number(inserted.lastInsertRowid));
|
|
assert.equal(updated.whatsapp_status, 'confirmado');
|
|
assert.equal(updated.whatsapp_numero_resolvido, '557599091780');
|
|
db.close();
|
|
});
|
|
|
|
test('lead sem verificacao equivalente permanece nao consultado', async () => {
|
|
const { openDb } = await import('../src/db.mjs');
|
|
const { getLead, listLeads } = await import('../src/treatment/queries.mjs');
|
|
const db = openDb(':memory:');
|
|
const inserted = db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido)
|
|
VALUES ('telefone:5511999990001', 'Lead novo', '5511999990001', 1)`
|
|
).run();
|
|
|
|
const detail = getLead(db, Number(inserted.lastInsertRowid));
|
|
const listed = listLeads(db).rows[0];
|
|
for (const lead of [detail, listed]) {
|
|
assert.equal(lead.whatsapp_status, 'nao_consultado');
|
|
assert.equal(lead.whatsapp_numero_resolvido, null);
|
|
assert.equal(lead.whatsapp_checked_at, null);
|
|
assert.equal(lead.telefone_valido, 1);
|
|
}
|
|
db.close();
|
|
});
|
|
|
|
test('listagem e detalhe marcam numero compartilhado por mais de um lead', async () => {
|
|
const { openDb, addSharedNumberOverride } = await import('../src/db.mjs');
|
|
const { getLead, listLeads } = await import('../src/treatment/queries.mjs');
|
|
const db = openDb(':memory:');
|
|
const sharedA = db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido)
|
|
VALUES ('shared-a', 'Contabilidade Cliente A', '5575999091780', 1)`
|
|
).run();
|
|
db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido)
|
|
VALUES ('shared-b', 'Contabilidade Cliente B', '557599091780', 1)`
|
|
).run();
|
|
const solo = db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido)
|
|
VALUES ('solo', 'Empresa Unica', '5511999990001', 1)`
|
|
).run();
|
|
|
|
const rows = listLeads(db).rows;
|
|
const shared = rows.find((row) => row.id === Number(sharedA.lastInsertRowid));
|
|
const unique = rows.find((row) => row.id === Number(solo.lastInsertRowid));
|
|
assert.equal(shared.numero_compartilhado, true);
|
|
assert.equal(shared.numero_compartilhado_total, 2);
|
|
assert.equal(shared.numero_compartilhado_liberado, false);
|
|
assert.equal(unique.numero_compartilhado, false);
|
|
assert.equal(unique.numero_compartilhado_total, 0);
|
|
|
|
const detail = getLead(db, Number(sharedA.lastInsertRowid));
|
|
assert.equal(detail.numero_compartilhado, true);
|
|
|
|
addSharedNumberOverride(db, '5575999091780', 'revisado');
|
|
const refreshed = getLead(db, Number(sharedA.lastInsertRowid));
|
|
assert.equal(refreshed.numero_compartilhado_liberado, true);
|
|
db.close();
|
|
});
|
|
|
|
// Par assimetrico de equivalentPhoneNumbers (557533334444 / 5575933334444):
|
|
// os dois lados precisam aparecer marcados na tela de tratamento.
|
|
test('listagem marca os dois lados de um par 12/13 digitos assimetrico', async () => {
|
|
const { openDb } = await import('../src/db.mjs');
|
|
const { getLead, listLeads } = await import('../src/treatment/queries.mjs');
|
|
const db = openDb(':memory:');
|
|
const doze = Number(db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido)
|
|
VALUES ('assim-12', 'Empresa 12 digitos', '557533334444', 1)`
|
|
).run().lastInsertRowid);
|
|
const treze = Number(db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido)
|
|
VALUES ('assim-13', 'Empresa 13 digitos', '5575933334444', 1)`
|
|
).run().lastInsertRowid);
|
|
|
|
const rows = new Map(listLeads(db).rows.map((row) => [row.id, row]));
|
|
for (const id of [doze, treze]) {
|
|
assert.equal(rows.get(id).numero_compartilhado, true, String(id));
|
|
assert.equal(rows.get(id).numero_compartilhado_total, 2, String(id));
|
|
assert.equal(getLead(db, id).numero_compartilhado, true, String(id));
|
|
}
|
|
db.close();
|
|
});
|
|
|
|
// A versao anterior carregava TODOS os leads com telefone em JS a cada
|
|
// listagem. Agora o estado sai de subconsultas correlacionadas por linha: o
|
|
// plano precisa usar idx_leads_whatsapp e a listagem paginada nao pode custar
|
|
// proporcional ao tamanho da tabela.
|
|
test('estado de numero compartilhado sai por linha, sem varrer a tabela inteira', async () => {
|
|
const { openDb } = await import('../src/db.mjs');
|
|
const { listLeads } = await import('../src/treatment/queries.mjs');
|
|
const db = openDb(':memory:');
|
|
db.exec(`
|
|
WITH RECURSIVE sequence(value) AS (
|
|
VALUES(1) UNION ALL SELECT value + 1 FROM sequence WHERE value < 60000
|
|
)
|
|
INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido, prioridade, score)
|
|
SELECT 'ruido-' || value, 'Ruido ' || value, '5511' || printf('%08d', value), 1, 4, 0
|
|
FROM sequence;
|
|
`);
|
|
db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido, prioridade, score)
|
|
VALUES ('pagina-compartilhado-a', 'Compartilhado A', '5575999091780', 1, 1, 100)`
|
|
).run();
|
|
db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido, prioridade, score)
|
|
VALUES ('pagina-compartilhado-b', 'Compartilhado B', '557599091780', 1, 1, 99)`
|
|
).run();
|
|
db.prepare(
|
|
`INSERT INTO leads (dedup_key, empresa, whatsapp, telefone_valido, prioridade, score)
|
|
VALUES ('pagina-unico', 'Unico', '5575992220000', 1, 1, 98)`
|
|
).run();
|
|
|
|
// Conta TODAS as linhas que chegam ao JS durante a listagem: a implementacao
|
|
// antiga trazia os 60 mil leads com telefone para montar o indice em memoria.
|
|
const trace = { sql: null, args: null, rowsRead: 0 };
|
|
const tracedDb = new Proxy(db, {
|
|
get(target, property) {
|
|
if (property !== 'prepare') {
|
|
const value = target[property];
|
|
return typeof value === 'function' ? value.bind(target) : value;
|
|
}
|
|
return (sql) => {
|
|
const statement = target.prepare(sql);
|
|
if (sql.includes('numero_compartilhado_total_raw')) trace.sql = sql;
|
|
return new Proxy(statement, {
|
|
get(stmt, name) {
|
|
if (name === 'all') {
|
|
return (...args) => {
|
|
const rows = stmt.all(...args);
|
|
trace.rowsRead += rows.length;
|
|
if (sql.includes('numero_compartilhado_total_raw')) trace.args = args;
|
|
return rows;
|
|
};
|
|
}
|
|
const value = stmt[name];
|
|
return typeof value === 'function' ? value.bind(stmt) : value;
|
|
}
|
|
});
|
|
};
|
|
}
|
|
});
|
|
|
|
const startedAt = performance.now();
|
|
const rows = listLeads(tracedDb, { pageSize: 3 }).rows;
|
|
const elapsedMs = performance.now() - startedAt;
|
|
|
|
assert.deepEqual(
|
|
rows.map((row) => [row.empresa, row.numero_compartilhado, row.numero_compartilhado_total]),
|
|
[
|
|
['Compartilhado A', true, 2],
|
|
['Compartilhado B', true, 2],
|
|
['Unico', false, 0]
|
|
]
|
|
);
|
|
assert.ok(
|
|
trace.rowsRead <= 10,
|
|
`listagem trouxe ${trace.rowsRead} linhas para o JS com pageSize 3 (base de 60003 leads)`
|
|
);
|
|
assert.ok(elapsedMs < 1_000, `listagem paginada levou ${elapsedMs.toFixed(1)}ms`);
|
|
|
|
// Prova estrutural na consulta real de hidratacao (a que traz as colunas de
|
|
// numero compartilhado): ela busca so os ids ja paginados (nao faz o
|
|
// LIMIT/OFFSET nem o sort ela mesma — isso acontece antes, na consulta so-id
|
|
// — e a subconsulta correlacionada procura os irmaos pelo indice do
|
|
// telefone.
|
|
assert.ok(trace.sql, 'consulta de hidratacao nao foi observada');
|
|
assert.match(trace.sql, /WHERE leads\.id IN \(/);
|
|
const plan = db.prepare(`EXPLAIN QUERY PLAN ${trace.sql}`).all(...trace.args)
|
|
.map((row) => row.detail).join('\n');
|
|
assert.match(plan, /sharing USING [A-Z ]*INDEX idx_leads_whatsapp/i, plan);
|
|
assert.doesNotMatch(plan, /SCAN sharing/i, plan);
|
|
|
|
// A ordenacao padrao (prioridade:asc, score:desc, cidade:asc, empresa:asc)
|
|
// so casa parcialmente com o indice: os 60 mil leads de "ruido" empatam em
|
|
// prioridade=4/score=0, um bloco unico que o sort do SQLite materializa
|
|
// inteiro antes de aplicar LIMIT/OFFSET. A pagina 1 (os 3 leads especiais,
|
|
// prioridade=1) nao entra nesse bloco e por isso nao prova nada sobre ele;
|
|
// a pagina 2 cai direto nele. Se as subconsultas de numero compartilhado
|
|
// fossem reavaliadas para o bloco inteiro durante o sort (em vez de so para
|
|
// a pagina, apos paginar por id), essa consulta ficaria uma ordem de
|
|
// grandeza mais lenta aqui.
|
|
const page2StartedAt = performance.now();
|
|
const page2 = listLeads(db, { pageSize: 3, page: 2 }).rows;
|
|
const page2ElapsedMs = performance.now() - page2StartedAt;
|
|
assert.equal(page2.length, 3);
|
|
assert.ok(page2.every((row) => row.empresa.startsWith('Ruido')), page2.map((r) => r.empresa).join(','));
|
|
assert.ok(
|
|
page2ElapsedMs < elapsedMs * 5 + 200,
|
|
`pagina 2 (dentro do bloco de 60 mil empatados) levou ${page2ElapsedMs.toFixed(1)}ms `
|
|
+ `vs ${elapsedMs.toFixed(1)}ms na pagina 1 — sugere reavaliacao das subconsultas para o bloco inteiro`
|
|
);
|
|
db.close();
|
|
});
|