Neem uw eigen model mee.
Kies hoe het zich gedraagt.
Roundtable AI laadt elk .gguf bestand, dus de persoonlijkheid, de snelheid en de vangrails zijn aan jou om te kiezen. Dit is een duidelijke gids voor het kiezen van een model, van gebalanceerde reguliere modellen tot snellere kleine modellen tot gemeenschapsverfijningen met minder beperkingen.
Als het op uw Mac draait, kiest u de regels
Cloud-assistenten verzenden één persoonlijkheid en één set van vangrails, besloten voor iedereen. Een lokaal model is een bestand dat u beheert, wat betekent dat het debat zo afgemeten of ongefilterd kan zijn als u wilt.
De meeste gehoste AI-producten zijn afgestemd op een zo breed mogelijk publiek: voorzichtig, aangenaam en snel afwijzend. Dat is de juiste oproep voor een chatbot voor de massamarkt – en precies waarom een rondetafelgesprek kan aanvoelen als een panel waar iedereen het in het geheim mee eens is.
Het lokaal uitvoeren van een model verandert de vergelijking. Jij kiest welk model op elke stoel zit. Wilt u een zorgvuldig, braaf paneel? Laad een mainstream instructiemodel. Wil je debaters die daadwerkelijk harde standpunten innemen en terugduwen zonder zich in te dekken? Laad een community-finetune met minder vangrails. De keuze (en de verantwoordelijkheid) ligt bij u, op uw hardware, waarbij niets uw Mac verlaat.
Een spectrum van GGUF modellen
Elk van deze laadt op dezelfde manier in Roundtable AI: download de .gguf, richt de app erop en wijs deze toe aan een agent. Het enige verschil is hoe het model zich gedraagt.
| Niveau | Goed voor | Representatieve modellen | Kies |
|---|---|---|---|
| Evenwichtig/mainstream | A betrouwbaar, welgemanierd paneel. De veilige standaard voor de meeste discussies. | Llama 3.x Instruct, Qwen 2.5 Instruct, Mistral 7B Instruct, Gemma 2 | Standaard |
| Kleiner/sneller | Klein RAM, of wil meer agenten tegelijk. Sneller, lichter en nog steeds capabel. | Qwen 2.5 0.5B–3B, Llama 3.2 1B/3B, Phi-3 Mini | Lichtgewicht |
| Minder vangrails (community fine-tunes) |
Debaters die sterke standpunten innemen en zelden weigeren. Pittigere, meer eigenzinnige uitwisselingen. | Dolfijn (ongecensureerde verfijningen), "uitgewist" varianten van Llama / Qwen / Gemma en vergelijkbare community-releases | Geavanceerd |
GGUF modellen vinden op Hugging Face
Hugging Face is de belangrijkste hub voor community-GGUF-modellen. Deze beheerders en zoekopdrachten zijn goede startpunten - links openen Hugging Face direct.
Mainstream GGUF
Officiële en goed gekwantificeerde builds van Llama, Qwen, Mistral en Gemma. Zoek naar trending GGUF modellen of zoek naar de Q4_K_M kwantiteit van een model dat u herkent.
Ongecensureerd verfijningen
De langlopende Dolphin lijn van ongecensureerde verfijningen leeft op cognitivecomputations. Deze zijn afgestemd om behulpzaam en direct te zijn, in plaats van dat ze tot weigering leiden.
Minder vangrails"Verwijderd" varianten
Abliteratie is een techniek die het weigeringsgedrag van een model verwijdert, terwijl de mogelijkheden ervan behouden blijven. Zie mlabonne voor het naslagwerk, of blader door alle verwijderde modellen en ongecensureerde GGUF.
GeavanceerdTip: u hoeft zich niet aan één niveau te binden. Een geweldige Roundtable AI sessie combineert deze vaak: een evenwichtige moderator die de orde handhaaft, terwijl twee debaters met minder vangrails er daadwerkelijk mee aan de slag gaan.
Over gemeenschapsmodellen
Modellen van derden, uw verantwoordelijkheid
De bovenstaande communitymodellen en links zijn niet gemaakt door, gelieerd aan of goedgekeurd door HighRoad Software. Ongecensureerde en afgeschafte modellen hebben de veiligheidsfiltering verminderd of verwijderd, wat betekent dat ze inhoud kunnen produceren die reguliere modellen zouden weigeren. U bent verantwoordelijk voor de manier waarop u ze gebruikt, voor het naleven van de licenties van elk model en voor het volgen van de wetten die van toepassing zijn waar u woont. Roundtable AI laadt eenvoudigweg het .gguf bestand dat u kiest; het host, wijzigt of distribueert deze modellen niet.
Kies een model en start een rondetafelgesprek
Roundtable AI is gratis op Mac. Download een GGUF-model, richt de app erop en zet hem binnen een minuut aan tafel.