Los modelos de lenguaje pequeños (SLMs, por sus siglas en inglés) son herramientas altamente eficientes diseñadas para operar en dispositivos con recursos limitados, como smartphones, tablets o microcomputadoras como la Raspberry Pi. A diferencia de los modelos de lenguaje grandes (LLMs), los SLMs emplean menos parámetros, lo que reduce significativamente los costos computacionales y energéticos. Esto los hace ideales para aplicaciones específicas en áreas como atención al cliente, educación o dispositivos IoT. Sin embargo, debido a su tamaño reducido, estos modelos tienen limitaciones: pueden carecer de información general (Como cultura general) y ser propensos a errores (alucinaciones) al manejar temas complejos o fuera de su dominio especializado.
La Raspberry Pi es una plataforma ideal para experimentar con estos modelos gracias a su bajo costo y flexibilidad. Aunque no está diseñada para manejar modelos grandes, puede ejecutar versiones ligeras que pueden ir de los 0.5b a los 12b en modelos raspberry pi5 de 8gb de memoria RAM y pueden llegar a ejecutarse modelos de de hasta 20b como el sailor2 en modelos raspberry pi5 de 16gb de memoria RAM.
Para instalar y ejecutar Ollama en una Raspberry Pi, se necesitan los siguientes elementos y configuraciones:
Hardware recomendado:
Software necesario:
curl instalado para descargar scripts1.Antes de instalar Ollama, asegúrate de que el sistema operativo esté actualizado. Ejecuta los siguientes comandos en la terminal:
sudo apt update
sudo apt upgrade