WebLLM es totalmente compatible con la API de OpenAI. Esto significa que se puedes usar la misma API de OpenAI en cualquier modelo de código abierto localmente, con funcionalidades que incluyen transmisión de datos, modo JSON, llamadas a funciones (en desarrollo), entre otras.
chatpdf
Clon de chatgpt usando modelos que se ejecutan en el cliente con web-llm