Needle 2: KI-Modell mit nur 14 MB läuft auf Raspberry Pi

Cactus Compute hat mit Needle 2 ein neues, hochgradig optimiertes Sprachmodell (Large Language Model, LLM) vorgestellt, das speziell für den Einsatz auf Hardware mit stark begrenzten Ressourcen konzipiert wurde.

Mit einem Speicherbedarf von lediglich 14 MB und einer Architektur, die auf 45 Millionen Parametern basiert, markiert die Veröffentlichung einen Fortschritt im Bereich der lokalen künstlichen Intelligenz. Um diese geringe Größe zu erreichen, nutzt das Modell eine 2-Bit-Quantisierung, die es ermöglicht, KI-Anwendungen auf minimaler Hardware ohne Cloud-Anbindung auszuführen.

Hohe Verarbeitungsgeschwindigkeit auf günstiger Hardware

Ein wesentliches Merkmal von Needle 2 ist die Effizienz im Betrieb. In ersten Tests auf einem Raspberry Pi 5 erzielte das Modell eine Geschwindigkeit von mehr als 800 Token pro Sekunde im Prefill-Modus. Bei der Generierung von Inhalten (Decode) erreichte das System eine Rate von über 500 Token pro Sekunde. Diese Leistungsdaten verdeutlichen die Eignung für Echtzeitanwendungen auf sogenannten Edge-Geräten.

Wer sich mit dem Einsatz solcher KI-Systeme im Unternehmen befasst, muss neben der Hardware auch die rechtlichen Rahmenbedingungen der neuen EU-KI-Verordnung im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen für Entwickler und Anwender. EU AI Act in 5 Schritten verstehen

Der Bedarf an Arbeitsspeicher während einer laufenden Session wird mit lediglich 28 MB RAM angegeben. Zudem liegt die benötigte Rechenleistung bei 70 MFLOPs pro Token. Diese Spezifikationen erlauben den stabilen Betrieb auf Geräten, deren Anschaffungspreis bei weniger als 200 US-Dollar liegt. Damit positioniert sich Needle 2 als Lösung für industrielle Anwendungen oder IoT-Szenarien, in denen kostengünstige Hardware die Basis bildet.

Umfangreiches Training und Integration

Trotz der geringen Parameteranzahl basiert das Modell auf einer breiten Datenbasis. Der Trainingsprozess gliederte sich in zwei Phasen: Zunächst wurde Needle 2 mit 115 Milliarden Token vorgetrainiert, gefolgt von einer Nachtrainingsphase mit weiteren 38 Milliarden Token. Dieses Verhältnis von Trainingsdaten zu Modellparametern soll sicherstellen, dass das System trotz seiner Komprimierung präzise Ergebnisse liefert.

Die Einbindung von KI in die eigene IT-Infrastruktur wirft oft Fragen zur Einstufung der jeweiligen Systeme in Risikoklassen auf. Erfahren Sie in diesem kostenlosen Report, welche Dokumentationspflichten die EU-KI-Verordnung konkret vorschreibt und wie Sie die Compliance in Ihrem Unternehmen sicherstellen. Kostenlosen Umsetzungsleitfaden zum AI Act herunterladen

Nach Angaben der Entwickler ist das Modell bereits produktionsreif. Ein zentraler Bestandteil für den praktischen Einsatz ist dabei die Integration in Pebble, die eine direkte Einbindung in bestehende Systeme ermöglichen soll. Da Needle 2 als Open-Source-Modell veröffentlicht wurde, steht es Entwicklern für die Implementierung in eigene Projekte frei zur Verfügung.

Die Kombination aus geringem RAM-Bedarf und hoher Token-Rate zielt insbesondere auf Anwendungsfelder ab, in denen schnelle Reaktionszeiten auf lokaler Ebene erforderlich sind, ohne auf die Rechenkraft großer Rechenzentren zurückgreifen zu müssen.

de | wissenschaft | 69953151 |