---
title: Utvecklare skapar gratis alternativ till Jev i Colab
url: https://www.dataloco.com/sv/utvecklare-skapar-gratis-alternativ-till-jev-i-colab
published: 2026-11-07T10:25:05+00:00
language: sv
section: AI
source: https://habr.com/ru/companies/timeweb/articles/1103368/?utm_campaign=1103368&utm_source=habrahabr&utm_medium=rss
organizations: TypeSafe AI, Liquid AI, Colab
publisher: Dataloco
---

# Utvecklare skapar gratis alternativ till Jev i Colab

En implementering av ett alternativ till Jev har skapats med hjälp av en gratis grafikprocessor i Colab. Projektet syftar till att efterlikna funktionaliteten i Jev, en modell av klassen System One som släpptes av TypeSafe AI den 15 september 2026. Jev är utformad för att ta emot ett tillstånd och typade frågor för att sedan returnera alternativ, skattningar och sannolikheter utan att generera text.

Denna specifika version använder en vanlig instruktionsmodell, närmare bestämt Qwen/Qwen2.5-1.5B-Instruct, och läser ut beslut direkt från logiterna utan ytterligare träning. Detta innebär att kvaliteten sannolikt är lägre än hos modeller som är specifikt tränade för sådana lösningar. Systemet är byggt med en kärna på ungefär 70 rader kod och inkluderar kalibrering av sannolikheter samt hastighetsmätning.

Gränssnittet i den nya lösningen speglar Jev genom att ta emot text som tillstånd och en uppsättning namngivna frågor. Frågorna är uppdelade i tre typer: ja eller nej, val mellan alternativ och skattning på en skala. Resultatet levereras som en ordbok med sannolikheter via funktionerna Bool, Choice och Score.

Tekniskt sett utnyttjar metoden att beslut finns i logiterna på den sista positionen i en prompt. Genom att be modellen svara med en enda bokstav, till exempel A, B eller C, kan sannolikheterna för dessa specifika tokens läsas av direkt. Detta eliminerar behovet av att generera flera tokens sekventiellt, vilket gör processen snabbare än vanlig textgenerering. För att säkerställa att varje alternativ jämförs rättvist används enstaka bokstäver, eftersom längre ord kan delas upp i flera tokens.

Implementeringen körs på en T4 grafikprocessor med 16 gigabyte minne, där cirka 15 gigabyte är tillgängligt. Eftersom T4 saknar hårdvarustöd för bfloat16 används float16, vilket kräver kontroller för att undvika NaN-värden i logiterna. Modellen Qwen/Qwen2.5-1.5B-Instruct tar upp cirka 3 gigabyte i float16, medan den större versionen Qwen/Qwen2.5-3B-Instruct kräver cirka 6 gigabyte.

För att hantera prompts av olika längd används vänsterutfyllnad, vilket säkerställer att den sista positionen för alla förfrågningar är promptens faktiska slut. Sannolikheterna normaliseras sedan enbart mellan de angivna bokstavsalternativen, vilket garanterar formatet på svaret även om modellen kan ha fel i sak.