Mesterséges intelligencia és gépi tanulás

Mesterséges intelligencia és gépi tanulás

VERSENY IDEJE, HELYSZÍNE

A verseny időtartama két hét: november 17-án indul és november november 29-án fejeződik be. A  jelentkezőket e-mailben értesítjük.

Online: a megoldást a switchboard parancssori eszközzel küldöd be, a mérés a szervezők gépén fut.

MEGTEKINTÉS IDEJE, HELYSZÍNE

A saját eredményedet menet közben is látod: minden futás után terhelési szintenkénti eredményt kapsz (token/s, az első token ideje, arány a gyári SGLanghoz).

VERSENYRE JELENTKEZÉS

Jelentkezés a MIGT2026 Teams csoportba való csatlakozással lehet (csatlakozási kód: mgqzg7t)

A regisztráció során később meg kell adnod a GitHub-felhasználóneved és a Neptun-kódod; a neved és az e-mail-címed az űrlap automatikusan rögzíti. A részvétel meghívásos: a jelentkezéskor ellenőrizzük a hallgatói státuszod, csak ezután hívjuk meg a GitHub-fiókodat, és értesítünk.

A verseny aktív BME-hallgatóknak szól, egyéni nevezéssel; mindenki egyszer nevezhet, a saját GitHub-fiókjával. A helyek száma a rendelkezésre álló GPU-idő miatt korlátozott, jelenleg nagyjából 35–50 fő. A hallgatói státuszt a díjazás előtt újra ellenőrizzük.

Adatkezelés: a jelentkezéskor megadott nevet, e-mail-címet, Neptun-kódot és GitHub-felhasználónevet csak a jogosultság ellenőrzésére és a kapcsolattartásra használjuk. Adatkezelő: [BME / E-Group]. Az adatokat legkésőbb a díjak kiosztása után töröljük.

Kapcsolat: marosi@mit.bme.hu

VERSENYFELELŐS TANSZÉK

Mesterséges Intelligencia és Rendszertervezés Tanszék. A verseny hátterét az E-Group biztosítja.

VERSENYFELELŐS OKTATÓK

Marosi Márk, Antal Mátyás, Alekszejenkó Levente, Antal Péter

A VERSENY SZÖVEGES LEÍRÁSA

A verseny célja, hogy írd meg a leggyorsabb inferencia-szervert a Qwen3.6-35B-A3B modellhez egy NVIDIA B300 GPU 1g.34gb MIG-szeletén.

A feladat egy OpenAI-kompatibilis chat-szerver, amely a modellt (NVFP4 súlyokkal) a lehető legnagyobb áteresztőképességgel szolgálja ki. Kiindulópont a gyári SGLang (v0.5.22). A mérés a szervezők gépén fut, így saját nagy GPU nem kell a részvételhez.

A beküldött szervert valós, többfordulós beszélgetéseket visszajátszó forgalommal mérjük, több terhelési szinten. A pontszám a kimeneti token/s aránya a gyári SGLanghoz képest, a szintek mértani közepeként.

A feltételek: az első token késleltetése a célértéken belül marad, és a kimenet minősége (a teljes pontosságú modellhez mért eltérés) a megengedett korláton belül van. Trükközés helyett valódi gyorsítást várunk.

Naponta a versenyzők számától függően [1–5] pontozott futás és [3–10] próbafutás (check) jár; a keret 00:00 UTC-kor újrakezdődik. A próbafutás nem kerül a ranglistára.

A ranglista menet közben ideiglenes. A végén a legjobb nevezéseket újrafuttatjuk, és a kódjukat is átnézzük.

A formátum, a limitek és a pontozási értékek még tervezetek; a végleges szabályokat a beküldés megnyitása előtt közöljük.

VERSENYEREDMÉNY BESZÁMÍTÁSA

A versenyen jó eredményt elérő hallgatók teljesítményét figyelembe vesszük a tanszék mesterséges intelligenciához kapcsolódó tantárgyainak tanulmányi értékelésénél.

ÍZELÍTŐ A VERSENYFELADATBÓL

Adott egy mixture-of-experts nyelvi modell (Qwen3.6-35B-A3B, tokenenként kb. 3 milliárd aktív paraméterrel) 4 bites NVFP4 súlyokkal, és egy NVIDIA B300 GPU egyetlen MIG-szelete: 18 SM, 30,5 GiB memória. Mennyivel több kimeneti tokent tudsz ebből másodpercenként kihozni, mint a gyári SGLang?

A kiinduló projektet a switchboard init my-server parancs hozza létre: benne van a gyári SGLang-konfiguráció, a feladatleírás (TASK.md) és az AI-asszisztensnek szóló jegyzet (AGENTS.md). A switchboard check my-server próbafutást, a switchboard submit my-server pontozott futást indít.

Az első beküldésedet futtatás előtt egy szervező átnézi.

ELŐKÉSZÜLETEK

A részvételhez egy GitHub-fiók, egy terminál és alapszintű Python- és Linux-ismeret elég; GPU nem kell.

  • GitHub-fiók: ezzel jelentkezel be a parancssori eszközbe.
  • macOS vagy Linux terminál (Windowson WSL-lel) a switchboard CLI-hez.
  • Alapszintű Python és Linux parancssor.

A meghívó után:

  1. Telepítsd a CLI-t: curl -fsSL https://[a verseny oldala]/install.sh | sh
  2. Futtasd a switchboard login parancsot: bejelentkezés GitHubbal egy egyszer használatos kóddal, majd a szabályok elolvasása és elfogadása.

HASZNÁLHATÓ SEGÉDESZKÖZÖK

AI kódoló asszisztens használható, de a szabályokat neked kell elfogadnod, és a beküldött kódért te felelsz. A beküldött kód olvasható forráskód legyen, és a jobb eredmény valódi gyorsításból származzon.

  • Olvasható forráskódot küldj egy switchboard.json leíróval. Binárist, előre fordított GPU-kódot, tömörített vagy obfuskált kódot nem fogadunk el.
  • A fordítás hálózat nélkül, rögzített környezetben fut. A szervered jogosultságok és hálózat nélkül, csak olvasható modellsúlyokkal fut.
  • Tilos a homokozóból kitörni, más rendszert vagy más versenyző munkáját elérni, a mérést vagy az ellenőrző kéréseket felismerni, az időmérést manipulálni vagy tárolt válaszokat visszajátszani.
  • A beküldéseket automatikus szűrés is átnézheti, amely a kódot külső AI-szolgáltatónak is elküldheti.
  • Csak olyan kódot küldj be, amelyhez jogod van.

TÉMAKÖRÖK

  • LLM-kiszolgálás és inferencia-optimalizálás
  • Batch-elés, KV-cache és prefix-cache, ütemezés
  • Mixture-of-experts modellek, NVFP4 (4 bites) kvantálás
  • GPU-megosztás (NVIDIA MIG), CUDA- és Triton-kernelek, profilozás

FELKÉSZÜLÉST SEGÍTŐ ANYAGOK

Amit érdemes előre átnézni:

  • Hogyan működik egy LLM-kiszolgáló: batch-elés, KV-cache és prefix-cache, prefill és decode, áteresztőképesség kontra az első token ideje.
  • Az SGLang: a szerver indítása, a főbb kapcsolók és az ütemező működése. SGLang-dokumentáció, forráskód
  • A Qwen3.6-35B-A3B felépítése: mixture-of-experts modell, tokenenként kb. 3 milliárd aktív paraméterrel. Modellkártya
  • Az NVFP4 (4 bites) kvantálás és az NVIDIA MIG: mit jelent egy GPU egy szeletén futni (18 SM, 30,5 GiB memória). NVFP4-ismertető, MIG User Guide, MIG-profilok
  • Haladóknak: CUDA- vagy Triton-kernelek, profilozás. Triton-dokumentáció