AI Analysis: Reporte Resumen de Transcripciones (Summary Report) #10

New issue

Open

opened 2026-06-22 05:30:14 +02:00 by ana.rivera · 0 comments

ana.rivera commented

2026-06-22 05:30:14 +02:00

Owner

Como supervisor o analista de calidad
Quiero ver un reporte consolidado con métricas agregadas de todas las llamadas procesadas por la IA
Para evaluar el desempeño general, la calidad de las transcripciones y los resultados de los análisis

Criterios de Aceptación

Acceso: El reporte debe ser accesible desde:
- Clients > More Options > AI Analysis > Transcription Reports
Selector de tipo de reporte: Debe poder elegirse entre Summary y Detail Reporte Detallado de Llamadas (Detail Report) .

Tabla Overview — Métricas principales:

Métrica	Descripción
Total Calls	Total de llamadas en el período
Not Processed	Llamadas no procesadas por la IA
AI Verification Success	Verificaciones exitosas de la IA
AI Verification Mismatch	Discrepancias entre IA y agente
Billable - No Vote	Llamadas facturables sin voto registrado

Tabla Manager Verdicts (Only Mismatches):
- Un-Reviewed: Sin revisión humana
- AI Correct: IA tenía razón
- Agent Correct: El agente tenía razón
- Both Incorrect: Ambos incorrectos
Tabla QA Score:
- Rangos: <70, 70 to 80, 80 to 90, 90+
- El score se calcula con base en una rúbrica definida internamente
Tabla Intent:
- With Board
- Against Board
- Abstain All
Tabla Sentiment Analysis:
- Positive
- Negative
- Neutral
Tabla Disposition: Conteo de cuentas que votaron.
Tabla Users:
- Mostrar nombre del usuario (no solo su ID) junto a la cantidad de votos tomados.
- Mejora respecto al sistema original que solo muestra el ID.
Sección QA Score — Detalle de rúbrica:
- Mostrar las métricas definidas en la rúbrica: Phone Etiquette, Voting Protocol, etc.
Gráficas: Cada tabla debe tener su gráfica correspondiente (barras o pie según aplique).
Filtros: Filtrar reporte por rango de fechas y por cliente.

Notas Técnicas

El cálculo del QA Score está basado en una rúbrica que actualmente solo puede modificar el equipo de desarrollo. Se contempla hacerla editable.
El módulo de Sentiment Analysis está "menos entrenado" en la plataforma original, lo cual es una limitación conocida.
El nombre del usuario en la tabla Users requiere join con la tabla de usuarios del sistema.

Definition of Done

Reporte Summary accesible desde Reports y desde el módulo del cliente
Todas las tablas (Overview, Manager Verdicts, QA Score, Intent, Sentiment, Disposition, Users) implementadas
Gráfica por cada tabla
Tabla Users muestra nombre en lugar de ID
Filtros por fecha y cliente funcionales
Sección QA Score con métricas de rúbrica

Referencia Visual:

**Como** supervisor o analista de calidad **Quiero** ver un reporte consolidado con métricas agregadas de todas las llamadas procesadas por la IA **Para** evaluar el desempeño general, la calidad de las transcripciones y los resultados de los análisis ### Criterios de Aceptación 1. **Acceso:** El reporte debe ser accesible desde: - `Clients > More Options > AI Analysis > Transcription Reports` 2. **Selector de tipo de reporte:** Debe poder elegirse entre `Summary` y `Detail` [ Reporte Detallado de Llamadas (Detail Report) ](http://code.grupoleitz.com/Leitz-Group/audyn-ai/issues/9). 3. **Tabla Overview — Métricas principales:** | Métrica | Descripción | |---|---| | Total Calls | Total de llamadas en el período | | Not Processed | Llamadas no procesadas por la IA | | AI Verification Success | Verificaciones exitosas de la IA | | AI Verification Mismatch | Discrepancias entre IA y agente | | Billable - No Vote | Llamadas facturables sin voto registrado | 4. **Tabla Manager Verdicts (Only Mismatches):** - `Un-Reviewed`: Sin revisión humana - `AI Correct`: IA tenía razón - `Agent Correct`: El agente tenía razón - `Both Incorrect`: Ambos incorrectos 5. **Tabla QA Score:** - Rangos: `<70`, `70 to 80`, `80 to 90`, `90+` - El score se calcula con base en una rúbrica definida internamente 6. **Tabla Intent:** - `With Board` - `Against Board` - `Abstain All` 7. **Tabla Sentiment Analysis:** - `Positive` - `Negative` - `Neutral` 8. **Tabla Disposition:** Conteo de cuentas que votaron. 9. **Tabla Users:** - Mostrar `nombre del usuario` (no solo su ID) junto a la cantidad de votos tomados. - _Mejora respecto al sistema original que solo muestra el ID._ 10. **Sección QA Score — Detalle de rúbrica:** - Mostrar las métricas definidas en la rúbrica: `Phone Etiquette`, `Voting Protocol`, etc. 11. **Gráficas:** Cada tabla debe tener su gráfica correspondiente (barras o pie según aplique). 12. **Filtros:** Filtrar reporte por rango de fechas y por cliente. ### Notas Técnicas - El cálculo del QA Score está basado en una rúbrica que actualmente solo puede modificar el equipo de desarrollo. Se contempla hacerla editable. - El módulo de Sentiment Analysis está "menos entrenado" en la plataforma original, lo cual es una limitación conocida. - El nombre del usuario en la tabla Users requiere join con la tabla de usuarios del sistema. ### Definition of Done - [ ] Reporte Summary accesible desde Reports y desde el módulo del cliente - [ ] Todas las tablas (Overview, Manager Verdicts, QA Score, Intent, Sentiment, Disposition, Users) implementadas - [ ] Gráfica por cada tabla - [ ] Tabla Users muestra nombre en lugar de ID - [ ] Filtros por fecha y cliente funcionales - [ ] Sección QA Score con métricas de rúbrica **Referencia Visual:** <video src="/attachments/9b1d8e18-fbf7-4108-b33b-c5d312e7bd1d" title="AIAnalysis_SummaryReport" controls></video>

AIAnalysis_SummaryReport.mp4

4.3 MiB

ana.rivera added this to the Issue Board project

2026-06-22 05:30:14 +02:00

No labels

MMS2

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

Leitz-Group/audyn-ai#10

No description provided.

Rows
Columns