PocketPal AI

Das Herz der App ist die lokale Inferenz. PocketPal AI führt quantisierte GGUF-Modelle über llama.cpp aus, sodass Gemma, Qwen, Phi, Llama und Tausende weitere komplett offline chatten. Nichts aus einem Gespräch wird hochgeladen oder auf externen Servern gespeichert. Die App hält den Bildschirm während der Generierung wach, damit lange Antworten nicht durch die Sperre abgeschnitten werden.

Antworten müssen nicht stumm bleiben. PocketPal bringt eine neuronale Sprachausgabe mit, die auf dem Handy läuft, mit Engines wie Kokoro über ONNX Runtime. Die Stimmen entstehen lokal ohne Cloud-Aufrufe, was dasselbe Datenschutzversprechen wie der Chat hält. Das zählt für freihändige Nutzung, Barrierefreiheit und alles, was unterwegs gehört wird.

Pals sind eigene Assistenten, die Sie mit ihrem Standardmodell, ihrem Prompt und ihrem Charakter einrichten. Pals vom Typ Assistant zielen auf eine Aufgabe, während Roleplay-Pals eine Rolle, einen Ort und weiteren Kontext für geskriptete Gespräche ergänzen. PalsHub ist ein Marktplatz in der App, auf dem Sie Community-Pals durchsuchen und installieren, auch Premium-Pals, die im Programm gekauft werden. So deckt ein einziger Download viele getrennte Abläufe ab.

Die Modellwahl bestimmt alles, deshalb verbindet sich die App direkt mit Hugging Face. Sie suchen GGUF-Modelle, filtern nach Quantisierung und laden sie sofort herunter oder merken sie für später. Auch Hugging-Face-Modelle mit Sperre öffnen sich, sobald Sie unter Settings einen persönlichen Zugriffstoken eintragen. Die App erlaubt auch, eine Modelldatei aus dem lokalen Speicher hinzuzufügen, was passt, wenn Sie Gewichte schon auf dem Gerät halten.

Die Benchmark-Seite macht aus Vermutungen Zahlen. Sie misst Tokens pro Sekunde und Speicherverbrauch für die geladenen Modelle, sodass Sie Kandidaten auf Ihrer echten Hardware vergleichen können, bevor Sie sich entscheiden. Ergebnisse lassen sich im AI Phone Leaderboard teilen, wo sie sich mit anderen Geräten messen und dem nächsten Käufer helfen, eine passende Modellgröße zu wählen.

Neuere Versionen lassen fähige Pals mitten im Gespräch Werkzeuge aufrufen. Ein Talent ist eine kleine Engine, die das Modell ansprechen kann, und die App registriert Werkzeuge wie Taschenrechner, Datum und Uhrzeit sowie die Darstellung von HTML. Die Agent-Schleife streamt Tokens, erkennt einen Aufruf, führt ihn aus und gibt das Ergebnis für die nächste Runde zurück. Das ist der erste Schritt vom einfachen Chat zu einem Assistenten, der auf dem Gerät Dinge erledigt.