Bringen Sie Ihr eigenes Modell mit.
Wählen Sie, wie es sich verhält.
Roundtable AI lädt jede .gguf-Datei – Sie können also die Persönlichkeit, die Geschwindigkeit und die Leitplanken auswählen. Dies ist ein einfacher Leitfaden für die Auswahl, von ausgewogenen Mainstream-Modellen über schnellere kleine Modelle bis hin zu Community-Feinabstimmungen mit weniger Einschränkungen.
Wenn es auf Ihrem Mac ausgeführt wird, wählen Sie die Regeln
Cloud-Assistenten aus eine Persönlichkeit und ein Satz Leitplanken, entschieden für alle. Ein lokales Modell ist eine Datei, die Sie kontrollieren – was bedeutet, dass die Debatte so maßvoll oder so ungefiltert sein kann, wie Sie es möchten.
Die meisten gehosteten KI-Produkte sind auf ein möglichst breites Publikum abgestimmt: vorsichtig, angenehm und schnell ablehnend. Das ist die richtige Forderung nach einem Chatbot für den Massenmarkt – und genau der Grund, warum sich ein runder Tisch mit ihnen wie ein Gremium anfühlen kann, bei dem alle insgeheim einer Meinung sind.
Das lokale Ausführen eines Modells ändert die Gleichung. Sie wählen aus, welches Modell auf welchem Platz sitzt. Möchten Sie ein sorgfältiges, gut erzogenes Gremium? Laden Sie ein Mainstream-Instruktionsmodell. Wollen Sie Debattierer, die tatsächlich harte Positionen einnehmen und zurückschlagen, ohne sich abzusichern? Laden Sie eine Community-Feinabstimmung mit weniger Leitplanken. Die Wahl – und die Verantwortung – liegt bei Ihnen, auf Ihrer Hardware, und nichts verlässt Ihr Mac.
Ein Spektrum von GGUF-Modellen
Jedes davon wird in Roundtable AI auf die gleiche Weise geladen: Laden Sie das .gguf, richten Sie die App darauf und weisen Sie sie einem Agenten zu. Der einzige Unterschied besteht darin, wie sich das Modell verhält.
| Stufe | Gut für | Repräsentative Modelle | Auswahl |
|---|---|---|---|
| Ausgewogen / Mainstream | Ein zuverlässiges, gutmütiges Panel. Die sichere Standardeinstellung für die meisten Diskussionen. | Llama 3.x Instruct, Qwen 2.5 Instruct, Mistral 7B Instruct, Gemma 2 | Standard |
| Kleiner/schneller | Knapp an RAM, oder mehr wollen Agenten auf einmal. Schneller, leichter, immer noch leistungsfähig. | Qwen 2.5 0.5B–3B, Llama 3.2 1B/3B, Phi-3 Mini | Leichtgewicht |
| Weniger Leitplanken (Community-Feinabstimmungen) |
Debattierer, die starke Positionen vertreten und selten ablehnen. Würzigerer, eigensinnigerer Austausch. | Dolphin (unzensierte Feinabstimmungen), "vernichtet" Varianten von Llama / Qwen / Gemma und ähnlichen Community-Versionen | Erweitert |
Nach GGUF-Modellen auf Hugging Face suchen
Hugging Face ist der Hauptknotenpunkt für Community-GGUF-Modelle. Diese Betreuer und Suchvorgänge sind gute Ausgangspunkte – Links öffnen Hugging Face direkt.
Mainstream GGUF
Offizielle und gut quantisierte Builds von Llama, Qwen, Mistral und Gemma. Suchen Sie nach trendigen GGUF-Modellen oder suchen Sie nach der Q4_K_M Quantität eines Modells, das Sie kennen.
Unzensierte Feinabstimmungen
Die langjährige Dolphin Reihe unzensierter Feinabstimmungen lebt weiter kognitive Berechnungen. Diese sind so abgestimmt, dass sie hilfreich und direkt sind und nicht zu Ablehnungen führen.
Weniger Leitplanken"Abliteriert" Varianten
Abliteration ist eine Technik, die das Ablehnungsverhalten eines Modells beseitigt und gleichzeitig seine Fähigkeiten beibehält. Das Nachschlagewerk finden Sie unter mlabonne oder durchsuchen Sie alle gelöschten Modelle und unzensiert GGUF.
ErweitertTipp: Sie müssen sich nicht auf eine Stufe festlegen. Eine großartige Roundtable AI-Sitzung vermischt sie oft – ein ausgewogener Moderator sorgt für Ordnung, während zwei Debattierer mit weniger Leitplanken tatsächlich an der Sache teilnehmen.
Über Community-Modelle
Für Modelle von Drittanbietern sind Sie verantwortlich
Die oben genannten Community-Modelle und Links werden nicht von HighRoad Software erstellt, sind nicht mit HighRoad Software verbunden oder werden von HighRoad Software unterstützt. Unzensierte und gelöschte Models haben die Sicherheitsfilterung reduziert oder entfernt, was bedeutet, dass sie Inhalte produzieren können, die Mainstream-Models ablehnen würden. Sie sind dafür verantwortlich, wie Sie sie verwenden, die Lizenz jedes Modells einzuhalten und die Gesetze zu befolgen, die an Ihrem Wohnort gelten. Roundtable AI lädt einfach die von Ihnen ausgewählte .gguf-Datei – diese Modelle werden nicht gehostet, geändert oder verteilt.
Wählen Sie ein Modell aus und starten Sie eine Diskussionsrunde
Roundtable AI ist kostenlos auf Mac. Laden Sie ein beliebiges GGUF-Modell herunter, richten Sie die App darauf und stellen Sie es in weniger als einer Minute auf den Tisch.