Razonamiento local con LLMs usando ONNX Runtime en Java #14

New issue

Open

opened 2025-04-22 18:20:20 +02:00 by ideras · 1 comment

ideras commented

2025-04-22 18:20:20 +02:00

(Migrated from gitlab.com)

Objetivos:

Investigar la arquitectura y capacidades del ONNX Runtime, enfocándose en la ejecución de modelos de lenguaje grandes (LLMs) de forma local.
Estudiar cómo utilizar ONNX Runtime para Java:
- Instalación de dependencias.
- Carga de modelos en formato .onnx.
- Preprocesamiento y postprocesamiento de texto (tokenización, decodificación).
Probar modelos de lenguaje compatibles como phi-2, TinyLlama, o modelos instructivos convertidos a ONNX.
Implementar una aplicación simple que tome una pregunta del usuario y genere una respuesta.
Analizar el rendimiento, tiempos de respuesta y consumo de recursos.
Comparar brevemente con soluciones remotas (ej. OpenAI API u Ollama).
Implementar una aplicación para convertir modelos al formato ONNX, idealmente en Java, pero puede ser en Python si es más viable.

Entregables:

Aplicación Java que ejecute localmente un modelo LLM usando ONNX Runtime.
Aplicación que realice la conversión de modelos al formato ONNX.
Documento: “Guía rápida para usar ONNX Runtime con LLMs en Java”.
Presentación tipo clase (30+ minutos) explicando la arquitectura de ONNX Runtime, cómo integrarlo con Java, conversión de modelos, casos de uso y limitaciones.

**Objetivos:** - Investigar la arquitectura y capacidades del **ONNX Runtime**, enfocándose en la ejecución de modelos de lenguaje grandes (LLMs) de forma local. - Estudiar cómo utilizar **ONNX Runtime para Java**: - Instalación de dependencias. - Carga de modelos en formato `.onnx`. - Preprocesamiento y postprocesamiento de texto (tokenización, decodificación). - Probar modelos de lenguaje compatibles como **phi-2**, **TinyLlama**, o modelos instructivos convertidos a ONNX. - Implementar una aplicación simple que tome una pregunta del usuario y genere una respuesta. - Analizar el rendimiento, tiempos de respuesta y consumo de recursos. - Comparar brevemente con soluciones remotas (ej. OpenAI API u Ollama). - **Implementar una aplicación para convertir modelos al formato ONNX**, idealmente en Java, pero puede ser en Python si es más viable. **Entregables:** - Aplicación Java que ejecute localmente un modelo LLM usando ONNX Runtime. - Aplicación que realice la conversión de modelos al formato ONNX. - Documento: “Guía rápida para usar ONNX Runtime con LLMs en Java”. - **Presentación tipo clase (30+ minutos)** explicando la arquitectura de ONNX Runtime, cómo integrarlo con Java, conversión de modelos, casos de uso y limitaciones.

alex-rohega commented

2025-04-22 19:12:39 +02:00

(Migrated from gitlab.com)

assigned to @alex-rohega