Ambiente computacional funcional que adquire mídias heterogêneas, normaliza o áudio com FFmpeg[1], executa reconhecimento da fala com Whisper[2] e produz texto, legendas e segmentos temporalmente rastreáveis. A arquitetura estabelece a base para uma futura camada de diarização[3], ainda não implementada.
Uma transcrição útil em contexto institucional não deve ser apenas um bloco de texto. Ela precisa preservar temporalidade, origem, possibilidade de revisão e ligação com o conteúdo audiovisual. O desafio se amplia diante de ruído, diferentes formatos, arquivos extensos e múltiplos interlocutores.
Contribuição tecnológica atual
O AnotaAI consolida aquisição, pré-processamento, inferência e materialização dos resultados em um único fluxo executável. Os intervalos de início e fim de cada segmento fornecem a rastreabilidade necessária para revisão humana e para a futura associação entre fala e interlocutor.
O núcleo de reconhecimento é executado localmente. Componentes externos existentes no ecossistema, como geração de conteúdo, não são considerados parte necessária da transcrição e devem ser avaliados separadamente quando houver dados sensíveis.
Entradas, normalização, inferência e artefatos verificáveis
flowchart TB
subgraph E["Entradas heterogêneas"]
U["YouTube, TikTok e playlists"]
A["Upload de áudio ou vídeo"]
L["Arquivo local"]
end
subgraph P["Preparação de mídia"]
Y["Aquisição com yt-dlp"]
F["FFmpeg: extração e conversão"]
end
subgraph I["Inferência local"]
W["Whisper em CPU ou GPU"]
J["Job assíncrono e telemetria"]
end
subgraph S["Saídas auditáveis"]
T["Texto TXT"]
R["Legendas SRT"]
G["Segmentos JSON"]
end
E --> P --> I --> S
U --> Y
A --> F
L --> F
Y --> F --> W
J --- W
W --> T
W --> R
W --> G
Clique em “Ampliar” para abrir o diagrama em tela inteira.
Links, playlists, uploads e caminhos locais são convertidos em uma entrada comum.
FFmpeg extrai a trilha sonora e reduz a heterogeneidade de codecs.
Whisper executa transcrição ou tradução com idioma automático ou definido.
Resultados são preservados como texto, legenda e segmentos temporais.
A saída do modelo não é reduzida ao texto integral. Cada segmento preserva posição temporal, permitindo localizar a evidência no áudio e construir futuras camadas de análise sem perder a referência original.
PROCEDIMENTO iniciar_transcricao(fonte): midia ← adquirir(fonte) audio ← normalizar_com_ffmpeg(midia) modelo ← carregar_whisper(nome, dispositivo) resultado ← modelo.transcrever(audio, idioma, tarefa) salvar_texto(resultado.texto) salvar_srt(resultado.segmentos) salvar_json(início, fim, texto) registrar_conclusao()
{
"i": 12,
"start": 84.20,
"end": 91.75,
"text": "conteúdo reconhecido no intervalo"
}O projeto registra timestamps por segmento. Não há, no estágio atual, identificação do interlocutor nem confiança formal por fala.
tiny, base, small, medium, large-v3 e variantes mapeadas, incluindo turbo.
Reutilização do modelo carregado por nome e dispositivo durante a execução.
Processamento em threads com estados, eventos e acompanhamento pela interface.
| Componente | Estado | Evidência ou restrição |
|---|---|---|
| Aquisição multimídia | Implementado | URL, playlist, upload e caminho local. |
| Normalização com FFmpeg | Implementado | Extração e conversão da trilha de áudio. |
| Transcrição local | Implementado | Whisper com modelos e idiomas selecionáveis. |
| TXT, SRT e JSON temporal | Implementado | Texto integral, legendas e segmentos. |
| Diarização | Planejado | Ainda não existe identificação de interlocutores. |
| Avaliação WER/CER | Agenda científica | Requer corpus de referência revisado. |
| Extração de decisões e tarefas | Agenda científica | Depende de diarização e validação semântica. |
A arquitetura atual já responde o que foi falado e quando. A diarização acrescentará a dimensão quem falou, tornando possível estruturar reuniões, audiências e entrevistas por participante.
Os elementos tracejados representam pesquisa futura
flowchart TB A["Áudio normalizado"] --> B["Transcrição temporal atual"] B --> C["Segmentos com início, fim e texto"] A -. "planejado" .-> D["Detecção de atividade de voz"] D -.-> E["Embeddings de locutor"] E -.-> F["Agrupamento por participante"] C -.-> G["Alinhamento fala + locutor"] F -.-> G G -.-> H["Revisão humana"] H -.-> I["Decisões, tarefas e responsáveis"]
A indisponibilidade de GPU dedicada não torna a diarização conceitualmente impossível. Modelos podem ser executados em CPU, porém com latência elevada e baixa viabilidade para experimentos repetidos, arquivos extensos e comparação sistemática de configurações.
A GPU é tratada como condição para ampliar escala, velocidade e reprodutibilidade experimental. Por isso, a diarização é apresentada como arquitetura-alvo, não como funcionalidade concluída.
O AnotaAI oferece um artefato funcional sobre o qual podem ser conduzidos experimentos de reconhecimento da fala, eficiência computacional, diarização e auditabilidade de inferências.
A pesquisa pode investigar não apenas a acurácia do texto, mas todo o encadeamento entre mídia, segmento, interlocutor, informação extraída e evidência original. Esse requisito é especialmente relevante em contextos jurídicos, administrativos, educacionais e de saúde.
Modelos maiores reduzem WER, mas apresentam ganhos decrescentes frente ao custo computacional.
A aceleração permite experimentos em escala sem alterar necessariamente a precisão do mesmo modelo.
A associação de falas a interlocutores melhora a identificação de responsabilidades e decisões.
Mestre em Modelagem Computacional de Sistemas
Professor do IFTO
Advogado — OAB/TO 11.673
Tecnologia e Inovação — AGU