Kies het AI-model dat je debugsessies aandrijft

StatusRivet heeft een model nodig om mee te denken, en jij beslist waar het draait: een cloud-AI-provider via een standaard API-eindpunt, een model op je pc, of het ingebouwde model. Deze pagina legt de drie keuzes uit en laat zien hoe je een verbinding test.

Drie plekken waar het model kan draaien

Cloud-AI-provider

Een cloud-AI-provider is geschikt voor grote codebases en lange logs. Je voert een standaard API-eindpunt en je sleutel in. De sleutel blijft lokaal. Elke prompt wordt naar de provider gestuurd die je hebt gekozen, inclusief de tekst van elk bestand of log dat de agent voor die stap leest, dus lees het eigen beleid van de provider voordat je broncode die niet openbaar is verstuurt. Houd het werk beperkt tot software die je zelf hebt geschreven of waar je gemachtigd bent om te debuggen. De provider kan kosten rekenen voor gebruik onder zijn eigen voorwaarden, en StatusRivet is onafhankelijk van elke provider. Kies deze optie wanneer je logs en bronbestanden een groot contextvenster nodig hebben.

Model op je pc

Een model dat op je pc draait, is geschikt voor code die je nergens anders naartoe wilt sturen. Je pc doet het werk. Wijs StatusRivet naar het lokale eindpunt en de prompts gaan naar je eigen machine, dus niets verlaat deze. Het nadeel is hardware: de snelheid en het contextvenster hangen af van wat je pc kan uitvoeren, en een lange log past mogelijk niet. Gebruik de knop Test om het venster te zien voordat je een lange sessie start. Het bijwerken of vervangen van het model is jouw taak. Het past goed bij labmachines en niet-publieke stuurprogramma's, zolang je die beperkingen accepteert.

Ingebouwd model

Het ingebouwde model is direct bruikbaar zonder je eigen eindpunt, dus dit is de kortste weg van installatie naar een eerste chat. Er is geen eindpunt nodig. Gebruik het om de goedkeuringsmodi te proberen, een korte log te lezen en te zien hoe een diff-kaart eruitziet voordat je iets anders instelt. Als een taak meer vereist, verbind je een cloud-AI-provider of een model op je pc en voer je dezelfde chat opnieuw uit om de antwoorden te vergelijken. Beoordeel elke diff op dezelfde manier, welk model het ook heeft geschreven.

Test de verbinding voordat je een lange sessie start

Druk op de knop Test naast een eindpunt om de verbinding te proberen. Het resultaat toont de responstijd en het contextvenster van dat model. De responstijd geeft aan of het eindpunt antwoordt met een snelheid waarmee je kunt werken. Het contextvenster geeft aan hoeveel van een log of bronbestand in één verzoek past, wat belangrijk is wanneer een lange call stack onderdeel is van de prompt. Voer de test opnieuw uit nadat je het eindpunt of het model hebt gewijzigd. Een mislukte test wijst op de verbinding, niet op je code. Los dat eerst op.

Kies een modelgrootte voor de taak

Gebruik een groter model voor complex redeneren, zoals het traceren van een fout door meerdere modules of het beoordelen van een grotere wijziging, en een kleiner model voor kleine bewerkingen, zoals het toevoegen van een null-check. De skill run_on_model stelt de agent in staat één moeilijke stap naar een groter model te sturen, terwijl de rest van de sessie op het kleinere model blijft. Dit houdt routinestappen op het kleinere model, terwijl de moeilijke stap meer capaciteit krijgt. Kies op basis van de taak, niet op basis van gewoonte, en gebruik de knop Test om contextvensters te vergelijken voordat een lange crashlog wordt ingevoerd. Pas de log eerst aan.

Modelkwaliteit varieert tussen providers en versies, dus behandel elk antwoord als een concept. Concepten moeten worden beoordeeld. Lees de diff, bouw opnieuw met je build-commando en voer je test-commando uit voordat je een wijziging behoudt. Ask first pauzeert voordat acties iets wijzigen, wat je een plek geeft om te stoppen en te lezen. Plan only schrijft een plan en voert niets uit, wat helpt wanneer je de stappen wilt zien voordat je naar Auto-run of Ask first gaat. De agent werkt vanuit tekstuitvoer, dus een resultaat is slechts zo goed als de logs die je hem geeft.