Razonamiento local con LLMs usando ONNX Runtime en C# #15

New issue

Open

opened 2025-04-22 18:22:07 +02:00 by ideras · 1 comment

ideras commented

2025-04-22 18:22:07 +02:00

(Migrated from gitlab.com)

Objetivos:

Estudiar el uso de ONNX Runtime en C# / .NET, incluyendo:
- Instalación del paquete NuGet Microsoft.ML.OnnxRuntime.
- Carga y ejecución de modelos de lenguaje.
- Integración con bibliotecas auxiliares para pre/post procesamiento como tokenizadores.
Investigar qué modelos LLM son más accesibles para ejecución local en escenarios con memoria limitada.
Implementar una consola interactiva o pequeña aplicación web (Blazor o WinForms) que realice razonamiento textual a partir de instrucciones del usuario.
Evaluar diferencias entre el flujo de trabajo en C# y en otras tecnologías como Python o Java.
Documentar dificultades encontradas al trabajar con modelos grandes (compatibilidad, dependencias, velocidad).
Implementar una aplicación para convertir modelos al formato ONNX, idealmente en C#, pero puede ser en Python si es más viable.

Entregables:

Aplicación C# que utilice ONNX Runtime para ejecutar un modelo de lenguaje localmente.
Aplicación que realice la conversión de modelos al formato ONNX.
Documento: “Guía rápida para usar ONNX Runtime con LLMs en C#”.
Presentación tipo clase (30+ minutos) con demostración práctica, recomendaciones para nuevos desarrolladores, proceso de conversión de modelos, y conclusiones sobre su viabilidad en entornos .NET.

**Objetivos:** - Estudiar el uso de **ONNX Runtime en C# / .NET**, incluyendo: - Instalación del paquete NuGet `Microsoft.ML.OnnxRuntime`. - Carga y ejecución de modelos de lenguaje. - Integración con bibliotecas auxiliares para pre/post procesamiento como tokenizadores. - Investigar qué modelos LLM son más accesibles para ejecución local en escenarios con memoria limitada. - Implementar una consola interactiva o pequeña aplicación web (Blazor o WinForms) que realice razonamiento textual a partir de instrucciones del usuario. - Evaluar diferencias entre el flujo de trabajo en C# y en otras tecnologías como Python o Java. - Documentar dificultades encontradas al trabajar con modelos grandes (compatibilidad, dependencias, velocidad). - **Implementar una aplicación para convertir modelos al formato ONNX**, idealmente en C#, pero puede ser en Python si es más viable. **Entregables:** - Aplicación C# que utilice ONNX Runtime para ejecutar un modelo de lenguaje localmente. - Aplicación que realice la conversión de modelos al formato ONNX. - Documento: “Guía rápida para usar ONNX Runtime con LLMs en C#”. - **Presentación tipo clase (30+ minutos)** con demostración práctica, recomendaciones para nuevos desarrolladores, proceso de conversión de modelos, y conclusiones sobre su viabilidad en entornos .NET.

alex-rohega commented

2025-04-22 19:12:46 +02:00

(Migrated from gitlab.com)

assigned to @alex-rohega