Run typed decisions on text and images right in your browser, or in Node.js and Bun: yes/no and multiple choice, entities, personal data, evidence, relations, image regions and OCR checks. The model, kyr0/winzling-decide-1.0, builds on Vela3-fast by the vLLM Semantic Router team and is optimized to be much smaller while keeping its answers, so it runs fast on edge devices.
Run typed decisions on text and images right in your browser, or in Node.js and Bun: yes/no and multiple choice, entities, personal data, evidence, relations, image regions and OCR checks. The model, kyr0/winzling-decide-1.0, builds on Vela3-fast by the vLLM Semantic Router team and is optimized to be much smaller while keeping its answers, so it runs fast on edge devices.Führen Sie typisierte Entscheidungen über Text und Bilder aus, direkt im Browser oder in Node.js und Bun: Ja/Nein und Auswahlfragen, Entitäten, personenbezogene Daten, Belege, Relationen, Bildregionen und OCR-Prüfungen. Das Modell kyr0/winzling-decide-1.0 baut auf Vela3-fast des vLLM-Semantic-Router-Teams auf und ist so optimiert, dass es deutlich kleiner ist, seine Antworten behält und auf Edge-Geräten schnell läuft.bun add defuss-decidepnpm add defuss-decidenpm install defuss-decideyarn add defuss-decideModel, inference and decision pipeline implemented by Aron Homberg (kyr0) (opens in a new tab) - Open Source (MIT (opens in a new tab)). Model: kyr0/winzling-decide-1.0 (opens in a new tab) on Hugging Face
Model, inference and decision pipeline implemented by Aron Homberg (kyr0) (opens in a new tab) - Open Source (MIT (opens in a new tab)). Model: kyr0/winzling-decide-1.0 (opens in a new tab) on Hugging FaceModell, Inferenz und Entscheidungs-Pipeline umgesetzt von Aron Homberg (kyr0) (öffnet in einem neuen Tab) - Open Source (MIT (öffnet in einem neuen Tab)). Modell: kyr0/winzling-decide-1.0 (öffnet in einem neuen Tab) auf Hugging Face
Is the order fulfilled?
EvidenceEvidenceEvidenz order.status: delivered
Why it is different
Why it is differentWas es anders machtNode.js, Bun and the browser run the same code on the same models: WebGPU where the device has it, else WASM or the CPU.
Node.js, Bun and the browser run the same code on the same models: WebGPU where the device has it, else WASM or the CPU.Node.js, Bun und der Browser führen denselben Code mit denselben Modellen aus: auf WebGPU, wenn das Gerät es hat, sonst auf WASM oder der CPU.The q4 bundles share one backbone file: all four text tasks take 482 MB instead of 6.1 GB as full-precision bundles.
The q4 bundles share one backbone file: all four text tasks take 482 MB instead of 6.1 GB as full-precision bundles.Die q4-Bundles teilen sich eine Backbone-Datei: Alle vier Textaufgaben brauchen 482 MB statt 6,1 GB als Bundles in voller Genauigkeit.Write any yes/no or multiple-choice question in plain words. The answer comes with a probability per option and references to the fields it read.
Write any yes/no or multiple-choice question in plain words. The answer comes with a probability per option and references to the fields it read.Formulieren Sie jede Ja/Nein- oder Auswahlfrage in eigenen Worten. Die Antwort kommt mit einer Wahrscheinlichkeit pro Option und Verweisen auf die gelesenen Felder.Every bundle reproduces the original model's outputs on its reference inputs. A bundle that fails the check does not load.
Every bundle reproduces the original model's outputs on its reference inputs. A bundle that fails the check does not load.Jedes Bundle reproduziert die Ausgaben des Originalmodells auf seinen Referenzeingaben. Ein Bundle, das die Prüfung nicht besteht, lädt nicht.Spans, entities and personal data come with character offsets into your input, correct for any Unicode text.
Spans, entities and personal data come with character offsets into your input, correct for any Unicode text.Textstellen, Entitäten und personenbezogene Daten kommen mit Zeichenpositionen in Ihrer Eingabe, korrekt für jeden Unicode-Text.Only the model files download. State, questions and images stay in the tab or the process.
Only the model files download. State, questions and images stay in the tab or the process.Nur die Modelldateien werden geladen. Zustand, Fragen und Bilder bleiben im Tab oder im Prozess.Live demos
Live demosLive-DemosEvery tab opens with a recorded answer of the real models. Pick another example, change the state or the question, or drop in your own image, then run it here with Ctrl Enter.
Every tab opens with a recorded answer of the real models. Pick another example, change the state or the question, or drop in your own image, then run it here with Ctrl Enter.Jeder Tab zeigt zuerst eine aufgezeichnete Antwort der echten Modelle. Wählen Sie ein anderes Beispiel, ändern Sie Zustand oder Frage oder legen Sie ein eigenes Bild ab, und führen Sie es hier mit Strg Enter aus.Typed decisions. Any yes/no or multiple-choice question over JSON, text and images, without training for it: the image adapters add what they see to the state, evidence marks the fields that matter, and the decision head answers with probabilities.
Typed decisions. Any yes/no or multiple-choice question over JSON, text and images, without training for it: the image adapters add what they see to the state, evidence marks the fields that matter, and the decision head answers with probabilities.Typisierte Entscheidungen. Jede Ja/Nein- oder Auswahlfrage über JSON, Text und Bilder, ohne Training dafür: Die Bildadapter ergänzen den Zustand um das, was sie sehen, die Evidenz markiert die relevanten Felder, und der Entscheidungskopf antwortet mit Wahrscheinlichkeiten.Graph relations. Rank paragraphs by how they relate to a statement, as edges of a knowledge graph: supports (the paragraph states that it is true), refutes (states that it is false) and relates (same topic). The decision head answers one four-option question per paragraph, without training for the task; it ranks by what a paragraph states, including stated causes and qualifiers.
Graph relations. Rank paragraphs by how they relate to a statement, as edges of a knowledge graph: supports (the paragraph states that it is true), refutes (states that it is false) and relates (same topic). The decision head answers one four-option question per paragraph, without training for the task; it ranks by what a paragraph states, including stated causes and qualifiers.Graph-Relationen. Ordnet Absätze danach, wie sie zu einer Aussage stehen, als Kanten eines Wissensgraphen: stützt (der Absatz sagt, dass sie stimmt), widerlegt (sagt, dass sie falsch ist) und betrifft (gleiches Thema).Evidence. Marks the passages of a context that support an answer, or a claim in the question.
Evidence. Marks the passages of a context that support an answer, or a claim in the question.Evidenz. Markiert die Passagen eines Kontexts, die eine Antwort oder eine Behauptung in der Frage stützen.Named entities. Labels without descriptions mark entities: people, places, organizations, anything you name.
Named entities. Labels without descriptions mark entities: people, places, organizations, anything you name.Benannte Entitäten. Labels ohne Beschreibung markieren Entitäten: Personen, Orte, Organisationen, alles, was Sie benennen.Relations. A question that names a relation finds the spans in that role, here the employer of Ada.
Relations. A question that names a relation finds the spans in that role, here the employer of Ada.Relationen. Eine Frage, die eine Relation nennt, findet die Stellen in dieser Rolle, hier den Arbeitgeber von Ada.Described labels. Each label comes with a description of what it means; the general span adapter reads both. Toxicity labels use it too.
Described labels. Each label comes with a description of what it means; the general span adapter reads both. Toxicity labels use it too.Beschriebene Labels. Jedes Label kommt mit einer Beschreibung seiner Bedeutung; der allgemeine Span-Adapter liest beides. Auch Toxizitäts-Labels nutzen ihn.PII and unsupported claims. Known label sets (17 PII types, unsupported claims) bring their own descriptions and calibrated thresholds.
PII and unsupported claims. Known label sets (17 PII types, unsupported claims) bring their own descriptions and calibrated thresholds.PII und unbelegte Behauptungen. Bekannte Label-Sets (17 PII-Typen, unbelegte Behauptungen) bringen eigene Beschreibungen und kalibrierte Schwellen mit.Image: locate a region. Points at the described object: a coarse box from 8 by 8 cells per tile, a point and a confidence.
Image: locate a region. Points at the described object: a coarse box from 8 by 8 cells per tile, a point and a confidence.Bild: eine Region finden. Zeigt auf das beschriebene Objekt: eine grobe Box aus 8 mal 8 Zellen pro Kachel, ein Punkt und eine Konfidenz.Image: OCR check. Compares an OCR extraction with the scan and marks what the scan does not say. It checks OCR output; it does not read text. With "lines": true in the question it checks each line on a strip located by the region adapter.
Image: OCR check. Compares an OCR extraction with the scan and marks what the scan does not say. It checks OCR output; it does not read text. With "lines": true in the question it checks each line on a strip located by the region adapter.Bild: OCR-Prüfung. Vergleicht eine OCR-Extraktion mit dem Scan und markiert, was der Scan nicht sagt. Es prüft OCR-Ausgaben und liest selbst keinen Text. Mit "lines": true in der Frage prüft es jede Zeile auf einem Streifen, den der Regionen-Adapter findet.Image: unsupported words. Checks an answer against the image and marks the words the image does not support.
Image: unsupported words. Checks an answer against the image and marks the words the image does not support.Bild: unbelegte Wörter. Prüft eine Antwort gegen das Bild und markiert die Wörter, die das Bild nicht stützt.A run downloads the real bundles of kyr0/winzling-decide-1.0 from Hugging Face as Brotli files, keeps them in the browser's cache and answers with the library code shown under "Get started". Each task loads its smallest bundle unless you pick a larger precision; the text decision bundle in q4 changes 3 of 177 test answers against FP32. For your own exported bundles, run make demo and enter /models/, or any folder laid out like the repository with .br copies.
make demo and enter /models/, or any folder laid out like the repository with .br copies.Ein Lauf lädt die echten Bundles von kyr0/winzling-decide-1.0 als Brotli-Dateien von Hugging Face, behält sie im Cache des Browsers und antwortet mit dem Bibliothekscode unter "Loslegen". Jede Aufgabe lädt ihr kleinstes Bundle, sofern Sie keine größere Genauigkeit wählen; das Textentscheidungs-Bundle in q4 ändert 3 von 177 Testantworten gegenüber FP32. Für eigene exportierte Bundles starten Sie make demo und geben /models/ ein, oder einen anderen Ordner, der wie das Repository aufgebaut ist und .br-Kopien enthält.
How it works
How it worksSo funktioniert esA question runs up to four small models one after another, all inside ONNX Runtime. The models return numbers, never generated text, so every answer can be checked against the input.
A question runs up to four small models one after another, all inside ONNX Runtime. The models return numbers, never generated text, so every answer can be checked against the input.Eine Frage durchläuft bis zu vier kleine Modelle nacheinander, alle in ONNX Runtime. Die Modelle liefern Zahlen und nie generierten Text, daher lässt sich jede Antwort an der Eingabe prüfen.The models return probabilities, spans of your input and boxes. Every reference points into what you sent.
The models return probabilities, spans of your input and boxes. Every reference points into what you sent.Die Modelle liefern Wahrscheinlichkeiten, Stellen Ihrer Eingabe und Boxen. Jeder Verweis zeigt in das, was Sie gesendet haben.ONNX Runtime runs the bundles on WebGPU, WASM or the CPU. Only the model files are downloaded, once, and the browser caches them.
ONNX Runtime runs the bundles on WebGPU, WASM or the CPU. Only the model files are downloaded, once, and the browser caches them.ONNX Runtime führt die Bundles auf WebGPU, WASM oder der CPU aus. Nur die Modelldateien werden einmal geladen, der Browser speichert sie zwischen.A bundle is written only after ONNX Runtime matched the original PyTorch model on recorded inputs, and it loads only with that mark.
A bundle is written only after ONNX Runtime matched the original PyTorch model on recorded inputs, and it loads only with that mark.Ein Bundle entsteht erst, wenn ONNX Runtime das Original-PyTorch-Modell auf aufgezeichneten Eingaben getroffen hat, und es lädt nur mit dieser Markierung.The models
The modelsDie ModelleTen models come from two families, one for text and one for images. In each family an encoder turns the input into numbers per token, a task adapter adjusts that encoder for one task, and a small readout turns the result into scores. A box in the figures sits on the box below it.
Ten models come from two families, one for text and one for images. In each family an encoder turns the input into numbers per token, a task adapter adjusts that encoder for one task, and a small readout turns the result into scores. A box in the figures sits on the box below it.Zehn Modelle stammen aus zwei Familien, eine für Text und eine für Bilder. In jeder Familie macht ein Encoder aus der Eingabe Zahlen pro Token, ein Aufgaben-Adapter passt diesen Encoder für eine Aufgabe an, und ein kleiner Ausgabekopf macht daraus Werte. In den Abbildungen sitzt eine Box auf der Box darunter.Exported fromExported fromExportiert aus vllm-sr/vela3-fast
Exported fromExported fromExportiert aus vllm-sr/vela3-fast-vision
Measured, not promised
Measured, not promisedGemessen, nicht versprochenEvery value comes from the project's recorded measurements: how much a browser downloads, how long a question takes, and how close the smaller bundles stay to full precision.
Every value comes from the project's recorded measurements: how much a browser downloads, how long a question takes, and how close the smaller bundles stay to full precision.Jeder Wert stammt aus den aufgezeichneten Messungen des Projekts: wie viel ein Browser herunterlädt, wie lange eine Frage dauert und wie nah die kleineren Bundles an voller Genauigkeit bleiben.Each task's smallest bundle in MB, Brotli-compressed as the page fetches it. The q4 tasks of a kind share one backbone, which downloads once and has its own bar.
Each task's smallest bundle in MB, Brotli-compressed as the page fetches it. The q4 tasks of a kind share one backbone, which downloads once and has its own bar.Das kleinste Bundle jeder Aufgabe in MB, Brotli-komprimiert, wie die Seite es lädt. Die q4-Aufgaben einer Art teilen sich ein Backbone, das einmal geladen wird und einen eigenen Balken hat.| DownloadDownloadDownload | PrecisionPrecisionGenauigkeit | MBMBMB |
|---|---|---|
| Text backbone sharedText backbone sharedText-Backbone geteilt | q4q4q4 | 202202202 |
| EvidenceEvidenceEvidenz | q4q4q4 | 626262 |
| EntitiesEntitiesEntitäten | q8q8q8 | 1,0841,0841.084 |
| RelationsRelationsRelationen | q4q4q4 | 929292 |
| Labeled spansLabeled spansBenannte Stellen | q4q4q4 | 626262 |
| PII and claimsPII and claimsPII und Behauptungen | q4q4q4 | 626262 |
| Image backbone sharedImage backbone sharedBild-Backbone geteilt | q4q4q4 | 116116116 |
| Image regionsImage regionsBildregionen | q8q8q8 | 420420420 |
| OCR checkOCR checkOCR-Prüfung | q4q4q4 | 373737 |
| Image claimsImage claimsBildbehauptungen | q4q4q4 | 373737 |
| Text decisionsText decisionsTextentscheidungen | q4q4q4 | 111111 |
| Image decisionsImage decisionsBildentscheidungen | q4q4q4 | 136136136 |
Source: the .br files a load fetches (scripts/model-sizes.ts), reports/model-sizes.json
Source: the .br files a load fetches (scripts/model-sizes.ts), reports/model-sizes.jsonQuelle: die .br-Dateien, die ein Ladevorgang abruft (scripts/model-sizes.ts), reports/model-sizes.jsonMedian time of the q8 and q4 bundles on an Apple M-series Mac; a shorter bar is faster.
Median time of the q8 and q4 bundles on an Apple M-series Mac; a shorter bar is faster.Median der q8- und q4-Bundles auf einem Apple-M-Mac; ein kürzerer Balken ist schneller.| Runtime, backend, precisionRuntime, backend, precisionLaufzeit, Backend, Genauigkeit | Short textShort textKurzer Text | 1,800 tokens1,800 tokens1.800 Token | ImageImageBild |
|---|---|---|---|
| Node.js, CPU, q8 | 32.032.032,0 | 2,1422,1422.142 | 1,6751,6751.675 |
| Node.js, CPU, q4 | 82.582.582,5 | 4,9944,9944.994 | 4,1074,1074.107 |
| Node.js, WebGPU, q8 | 53.053.053,0 | 353353353 | 296296296 |
| Node.js, WebGPU, q4 | 50.550.550,5 | 429429429 | 379379379 |
| Chromium, WebGPU, q8 | 90.090.090,0 | --- | 377377377 |
| Chromium, WebGPU, q4 | 76.576.576,5 | --- | 482482482 |
| WebKit, WebGPU, q8 | 79.079.079,0 | --- | 406406406 |
| WebKit, WebGPU, q4 | 73.573.573,5 | --- | 465465465 |
| Chromium, WASM, q8 | 1,0621,0621.062 | --- | 22,89522,89522.895 |
| Chromium, WASM, q4 | 805805805 | --- | 25,01125,01125.011 |
Source: scripts/bench.ts (Node.js) and scripts/browser-tasks.ts (Chromium, WebKit), reports/bench and reports/tasks
Source: scripts/bench.ts (Node.js) and scripts/browser-tasks.ts (Chromium, WebKit), reports/bench and reports/tasksQuelle: scripts/bench.ts (Node.js) und scripts/browser-tasks.ts (Chromium, WebKit), reports/bench und reports/tasksHow far any score moved against full precision (FP32) on the reference inputs, for the precision each task loads here: -1% is a probability going from 0.90 to 0.89 or to 0.91. Every bundle here stays under the publishing limit of 2%, and no answer changes. The text decision bundle in q4, which the page loads by default, did not pass: 3 of 177 test decisions change against FP32. FP32 itself is within 0.03 points of the original model.
How far any score moved against full precision (FP32) on the reference inputs, for the precision each task loads here: -1% is a probability going from 0.90 to 0.89 or to 0.91. Every bundle here stays under the publishing limit of 2%, and no answer changes. The text decision bundle in q4, which the page loads by default, did not pass: 3 of 177 test decisions change against FP32. FP32 itself is within 0.03 points of the original model.Wie weit sich ein Wert gegenüber voller Genauigkeit (FP32) auf den Referenzeingaben höchstens bewegt, für die Genauigkeit, die jede Aufgabe hier lädt: -1 % ist eine Wahrscheinlichkeit, die von 0,90 auf 0,89 oder auf 0,91 geht. Jedes Bundle hier bleibt unter der Grenze von 2 % für die Veröffentlichung, und keine Antwort ändert sich. Das Textentscheidungs-Bundle in q4, das die Seite standardmäßig lädt, hat die Prüfung nicht bestanden: 3 von 177 Testentscheidungen ändern sich gegenüber FP32. FP32 selbst liegt höchstens 0,03 Punkte vom Originalmodell entfernt.| BundleBundleBundle | PrecisionPrecisionGenauigkeit | ChangeChangeÄnderung |
|---|---|---|
| Labeled spansLabeled spansBenannte Stellen | q4 | -1.5%-1.5%-1,5% |
| PII and claimsPII and claimsPII und Behauptungen | q4 | -0.28%-0.28%-0,28% |
| EntitiesEntitiesEntitäten | q8 | -0.27%-0.27%-0,27% |
| RelationsRelationsRelationen | q4 | -1.1%-1.1%-1,1% |
| EvidenceEvidenceEvidenz | q4 | -0.95%-0.95%-0,95% |
| Image claimsImage claimsBildbehauptungen | q4 | 0%0%0% |
| OCR checkOCR checkOCR-Prüfung | q4 | -0.04%-0.04%-0,04% |
| Image regionsImage regionsBildregionen | q8 | -0.0026%-0.0026%-0,0026% |
| Image decisionsImage decisionsBildentscheidungen | q4 | -1.3%-1.3%-1,3% |
Source: scripts/verify-quantized.ts and scripts/verify-js.ts on the recorded reference inputs, reports/quantization-tasks.json
Source: scripts/verify-quantized.ts and scripts/verify-js.ts on the recorded reference inputs, reports/quantization-tasks.jsonQuelle: scripts/verify-quantized.ts und scripts/verify-js.ts auf den aufgezeichneten Referenzeingaben, reports/quantization-tasks.jsonFor teams and enterprises
For teams and enterprisesFür Teams und UnternehmenI adapt defuss-decide to your data, your hardware and your rules, and I stay until it runs in production.
I adapt defuss-decide to your data, your hardware and your rules, and I stay until it runs in production.Ich passe defuss-decide an Ihre Daten, Ihre Hardware und Ihre Regeln an und bleibe dabei, bis es produktiv läuft.Get started
Get startedLoslegenPick your package manager. The library runs in Node.js 22 or later, Bun and current browsers.
Pick your package manager. The library runs in Node.js 22 or later, Bun and current browsers.Wählen Sie Ihren Paketmanager. Die Bibliothek läuft in Node.js ab 22, Bun und aktuellen Browsern.bun add defuss-decidepnpm add defuss-decidenpm install defuss-decideyarn add defuss-decideFor Node.js and Bun, download kyr0/winzling-decide-1.0 into models/, where the library looks by default. Browsers load it from Hugging Face by themselves.
For Node.js and Bun, download kyr0/winzling-decide-1.0 into models/, where the library looks by default. Browsers load it from Hugging Face by themselves.Für Node.js und Bun laden Sie kyr0/winzling-decide-1.0 nach models/, wo die Bibliothek standardmäßig sucht. Browser laden es selbst von Hugging Face.hf download kyr0/winzling-decide-1.0 --exclude "*.br" --local-dir modelsLoad the bundles once, then ask typed questions about your state.
Load the bundles once, then ask typed questions about your state.Laden Sie die Bundles einmal und stellen Sie dann typisierte Fragen zu Ihrem Zustand.import { loadVelaProvider } from "defuss-decide/node"; // Every task of kyr0/winzling-decide-1.0 from models/, each in its smallest published precision.const vela = await loadVelaProvider();try { const r = await vela.systemOne({ state: { order: { id: 17, status: "delivered", items: [{ sku: "A1", ordered: 2, shipped: 2 }] } }, questions: { fulfilled: { type: "decide", instructions: "Is the order fulfilled?" } }, }); const { decision, probabilities, evidence } = r.answers.fulfilled; console.log(decision, probabilities.yes.toFixed(2)); // => yes 0.97 console.log(JSON.stringify(evidence.map((s) => s.state_ref))); // => [["order.status"]]} finally { await vela.dispose();}The same API runs in the tab, on WebGPU when the device has it.
The same API runs in the tab, on WebGPU when the device has it.Dieselbe API läuft im Tab, auf WebGPU, wenn das Gerät es hat.import { loadVelaProvider } from "defuss-decide/web"; const vela = await loadVelaProvider( { fast: { ner: "/models/vela3-fast-onnx/ner/q8/" }, vision: { box: "/models/vela3-fast-onnx/vision-box/q8/" }, }, { backend: "auto" },);try { const text = await vela.systemOne({ state: "Ada Lovelace lived in London.", questions: { entities: { type: "span", criteria: ["person", "city"] } }, }); console.log(JSON.stringify(text.answers.entities.spans.map((s) => s.text))); // => ["Ada Lovelace","London"] // images: File or Blob objects from an <input type="file">, image URLs, or {data, width, height} RGB bytes const where = await vela.systemOne({ images: ["/models/vela3-fast-onnx/vision-box/q8/sample.png"], questions: { square: { type: "box", instructions: "the red square" } }, }); console.log(where.answers.square.box.left.toFixed(2)); // => 0.19} finally { await vela.dispose();}Try the demos above, then add the library to your app.
Try the demos above, then add the library to your app.Probieren Sie die Demos oben aus, dann bauen Sie die Bibliothek in Ihre App ein.