NVIDIA NeMo raamistik

Tehnilised andmed

• Toote nimi: NVIDIA NeMo Framework
• Mõjutatud platvormid: Windows, Linux, macOS
• Mõjutatud versioonid: Kõik versioonid enne 24
• Turvahaavatavus: CVE-2025-23360
• Riskianalüüsi baasskoor: 7.1 (CVSS v3.1)

Toote kasutusjuhised

Turvavärskenduste installimine:
Süsteemi kaitsmiseks toimige järgmiselt.

1. Laadige alla uusim versioon GitHubi lehelt NeMo-Framework-Launcher Releases.
2. Lisateabe saamiseks minge saidile NVIDIA Product Security.

Turvavärskenduse üksikasjad:
Turvavärskendus kõrvaldab haavatavuse NVIDIA NeMo Frameworkis, mis võib viia koodi käivitamiseni ja andmete tampeksimine.

Tarkvara uuendamine:
Kui kasutate varasemat haru väljalaset, on turbeprobleemi lahendamiseks soovitatav minna üle uusimale haruväljaandele.

Läbiview

NVIDIA NeMo Framework on skaleeritav ja pilvepõhine generatiivne AI raamistik, mis on loodud teadlastele ja arendajatele, kes töötavad Suured keelemudelid, Multimodaalne ja Kõne AI (nt Automaatne kõnetuvastus ja Tekst kõneks). See võimaldab kasutajatel tõhusalt luua, kohandada ja juurutada uusi generatiivseid AI mudeleid, kasutades olemasolevat koodi ja eelkoolitatud mudeli kontrollpunkte.

Seadistusjuhised: Installige NeMo Framework

Suured keelemudelid ja multimodaalsed mudelid
NeMo Framework pakub täielikku tuge suurte keelemudelite (LLM) ja multimodaalsete mudelite (MM) väljatöötamiseks. See pakub paindlikkust kasutamiseks kohapeal, andmekeskuses või eelistatud pilveteenuse pakkujaga. Samuti toetab see käivitamist SLURM-i või Kubernetese toega keskkondades.

Andmete kureerimine
NeMo kuraator [1] on Pythoni teek, mis sisaldab moodulite komplekti andmete kaevandamiseks ja sünteetiliseks andmete genereerimiseks. Need on skaleeritavad ja optimeeritud GPU-de jaoks, muutes need ideaalseks loomuliku keele andmete kureerimiseks LLM-ide koolitamiseks või peenhäälestamiseks. NeMo kuraatori abil saate tõhusalt eraldada kvaliteetset teksti ulatuslikust toormaterjalist web andmeallikad.

Koolitus ja kohandamine

NeMo Framework pakub tööriistu tõhusaks koolituseks ja kohandamiseks LLM-id ja multimodaalsed mudelid. See sisaldab arvutusklastri seadistamise, andmete allalaadimise ja mudeli hüperparameetrite vaikekonfiguratsioone, mida saab kohandada uute andmekogumite ja mudelite kasutamiseks. Lisaks eelkoolitusele toetab NeMo nii juhendatud peenhäälestuse (SFT) kui ka parameetritõhusa peenhäälestuse (PEFT) tehnikaid, nagu LoRA, Ptuning ja palju muud.

NeMo-s koolituse käivitamiseks on saadaval kaks võimalust – kasutades NeMo 2.0 API liidest või NeMo Runiga.

• NeMo Runiga (soovitatav): NeMo Run pakub liidest katsete konfigureerimise, teostamise ja haldamise lihtsustamiseks erinevates arvutuskeskkondades. See hõlmab tööde käivitamist oma tööjaamas kohapeal või suurtes klastrites – nii SLURM-iga kui ka Kubernetes pilvekeskkonnas.
  • Eeltreening ja PEFTi kiirstart NeMo Runiga
• NeMo 2.0 API kasutamine: See meetod töötab hästi lihtsa seadistuse korral, mis hõlmab väikeseid mudeleid, või kui olete huvitatud oma kohandatud andmelaadija kirjutamisest, treeningtsüklitest või mudelikihtide muutmisest. See annab teile suurema paindlikkuse ja kontrolli konfiguratsioonide üle ning muudab konfiguratsioonide programmilise laiendamise ja kohandamise lihtsaks.
  • Training Quickstart koos NeMo 2.0 API-ga
  • NeMo 1.0-lt üleminek NeMo 2.0 API-le

Joondamine

• NeMo-Aligner [1] on skaleeritav tööriistakomplekt mudelite tõhusaks joondamiseks. Tööriistakomplekt toetab nüüdisaegseid mudeli joondusalgoritme, nagu SteerLM, DPO, Inforcement Learning from Human Feedback (RLHF) ja palju muud. Need algoritmid võimaldavad kasutajatel keelemudeleid joondada nii, et need oleksid turvalisemad, ohutumad ja kasulikumad.
• Kõik NeMo-Aligneri kontrollpunktid ühilduvad NeMo ökosüsteemiga, võimaldades edasist kohandamist ja järelduste juurutamist.

RLHF-i kõigi kolme faasi samm-sammuline töövoog väikesel GPT-2B mudelil:

• SFT koolitus
• Preemia modellikoolitus
• PPO koolitus

Lisaks demonstreerime tuge mitmetele muudele uudsetele joondusmeetoditele:

• Andmekaitseametnik: kerge joondusalgoritm võrreldes RLHF-ga, millel on lihtsam kadufunktsioon.
• Isemäng Peenhäälestus (SPIN)
• SteerLM: juhitava väljundiga konditsioneeritud SFT-l põhinev tehnika.

Lisateabe saamiseks vaadake dokumentatsiooni: Joondamise dokumentatsioon

Multimodaalsed mudelid

• NeMo Framework pakub optimeeritud tarkvara tipptasemel multimodaalsete mudelite koolitamiseks ja juurutamiseks mitmes kategoorias: multimodaalsed keelemudelid, visiooni-keele alused, tekstist pildiks mudelid ja peale 2D-genereerimise, kasutades närvikiirgusvälju (NeRF).
• Iga kategooria on loodud valdkonna konkreetsete vajaduste ja edusammude rahuldamiseks, kasutades tipptasemel mudeleid mitmesuguste andmetüüpide, sealhulgas teksti, piltide ja 3D-mudelite käsitlemiseks.

Kasutuselevõtt ja järeldused
NeMo Framework pakub erinevaid võimalusi LLM-i järelduste tegemiseks, võttes arvesse erinevaid kasutuselevõtu stsenaariume ja jõudlusvajadusi.

Juurutage NVIDIA NIM-iga

• NeMo Framework integreerub NVIDIA NIM-i kaudu sujuvalt ettevõtte tasemel mudeli juurutamise tööriistadega. Seda integratsiooni toetab NVIDIA TensorRT-LLM, mis tagab optimeeritud ja skaleeritava järelduse.
• NIM-i kohta lisateabe saamiseks külastage NVIDIAt websaidile.

Juurutage TensorRT-LLM-i või vLLM-iga

• NeMo Framework pakub skripte ja API-sid mudelite eksportimiseks kahte järelduste optimeeritud teeki, TensorRT-LLM ja vLLM, ning eksporditud mudeli juurutamiseks NVIDIA Triton Inference Serveriga.
• Optimeeritud jõudlust nõudvate stsenaariumide puhul saavad NeMo mudelid kasutada TensorRT-LLM-i, spetsiaalset raamatukogu, mis kiirendab ja optimeerib LLM-i järeldusi NVIDIA GPU-del. See protsess hõlmab NeMo mudelite teisendamist TensorRT-LLM-iga ühilduvasse vormingusse, kasutades moodulit nemo.export.
  • LLM-i juurutamine läbiview
  • Juurutage NIM-iga NeMo suured keelemudelid
  • Juurutage NeMo suured keelemudelid TensorRT-LLM-iga
  • NeMo suurte keelemudelite juurutamine vLLM-iga

Toetatud mudelid

Suured keelemudelid

Suured keelemudelid

Suured keelemudelid	Eelkoolitus ja SFT	PEFT	Joondamine	8. raamprogramm koolituse lähenemine	TRT/TRTLLM	Teisendage kallistavaks näoks ja kallistavast näost	Hindamine
Laama3 8B/70B, Llama3.1 405B	Jah	Jah	x	Jah (osaliselt kinnitatud)	Jah	Mõlemad	Jah
Mixtral 8x7B/8x22B	Jah	Jah	x	Jah (kinnitamata)	Jah	Mõlemad	Jah
Nemotron 3 8B	Jah	x	x	Jah (kinnitamata)	x	Mõlemad	Jah
Nemotron 4 340B	Jah	x	x	Jah (kinnitamata)	x	Mõlemad	Jah
Baichuan2 7B	Jah	Jah	x	Jah (kinnitamata)	x	Mõlemad	Jah
ChatGLM3 6B	Jah	Jah	x	Jah (kinnitamata)	x	Mõlemad	Jah
Gemma 2B/7B	Jah	Jah	x	Jah (kinnitamata)	Jah	Mõlemad	Jah
Gemma2 2B/9B/27B	Jah	Jah	x	Jah (kinnitamata)	x	Mõlemad	Jah
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Jah	Jah	x	Jah (kinnitamata)	x	x	Jah
Phi3 mini 4k	x	Jah	x	Jah (kinnitamata)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Jah	Jah	x	Jah (kinnitamata)	Jah	Mõlemad	Jah
StarCoder 15B	Jah	Jah	x	Jah (kinnitamata)	Jah	Mõlemad	Jah
StarCoder2 3B/7B/15B	Jah	Jah	x	Jah (kinnitamata)	Jah	Mõlemad	Jah
BERT 110M/340M	Jah	Jah	x	Jah (kinnitamata)	x	Mõlemad	x
T5 220M/3B/11B	Jah	Jah	x	x	x	x	x

 

Nägemiskeele mudelid

 

Mudelite manustamine

 

Maailma sihtasutuse mudelid

Märkus
NeMo toetab ka eeltreeningut nii difusiooni- kui ka autoregressiivsete arhitektuuride jaoks text2world vundamendi mudelid.

Kõne AI

Vestluspõhise AI mudelite väljatöötamine on keeruline protsess, mis hõlmab konkreetsetes valdkondades mudelite määratlemist, konstrueerimist ja koolitamist. See protsess nõuab tavaliselt mitu kordamist, et saavutada kõrge täpsus. Sageli hõlmab see suure täpsuse saavutamiseks mitut iteratsiooni, erinevate ülesannete ja domeenispetsiifiliste andmete peenhäälestamist, koolituse tulemuslikkuse tagamist ja mudelite ettevalmistamist järelduste juurutamiseks.

NeMo Framework pakub tuge Speech AI mudelite koolitamiseks ja kohandamiseks. See hõlmab selliseid ülesandeid nagu automaatne kõnetuvastus (ASR) ja teksti kõneks muutmise (TTS) süntees. See pakub NVIDIA Rivaga sujuvat üleminekut ettevõtte tasemel tootmise juurutamisele. Arendajate ja teadlaste abistamiseks sisaldab NeMo Framework tipptasemel eelkoolitatud kontrollpunkte, kõneandmete reprodutseeritava töötlemise tööriistu ning funktsioone kõneandmete interaktiivseks uurimiseks ja analüüsimiseks. NeMo Framework for Speech AI komponendid on järgmised:

Koolitus ja kohandamine
NeMo Framework sisaldab kõike, mis on vajalik kõnemudelite treenimiseks ja kohandamiseks (ASR, Kõne klassifikatsioon, Kõneleja tuvastamine, Kõneleja Diariseerimine, ja TTS) reprodutseeritaval viisil.

SOTA eelkoolitatud mudelid

• NeMo Framework pakub nüüdisaegseid retsepte ja eelkoolitatud kontrollpunkte ASR ja TTS mudelid, samuti juhised nende laadimiseks.
• Kõnetööriistad
• NeMo Framework pakub ASR- ja TTS-mudelite arendamiseks kasulikke tööriistu, sealhulgas:
  • NeMo forced Aligner (NFA) märgi-, sõna- ja segmenditasemel kordade genereerimiseksampkõnet helis, kasutades NeMo CTC-põhiseid automaatse kõnetuvastuse mudeleid.
  • Kõneandmete töötleja (SDP), kõneandmete töötlemise lihtsustamise tööriistakomplekt. See võimaldab teil esitada andmetöötlustoiminguid konfiguratsioonis file, minimeerides standardkoodi ning võimaldades reprodutseeritavust ja jagatavust.
  • Speech Data Explorer (SDE), Dash-põhine web rakendus kõneandmete kogumite interaktiivseks uurimiseks ja analüüsimiseks.
  • Andmekogumi loomise tööriist mis pakub funktsiooni pika heli joondamiseks files vastavate ärakirjadega ja jagada need lühemateks fragmentideks, mis sobivad automaatse kõnetuvastuse (ASR) mudelitreeninguks.
  • Võrdlustööriist ASR-mudelite jaoks, et võrrelda erinevate ASR-mudelite ennustusi sõna täpsuse ja lausumise tasemel.
  • ASR hindaja ASR-mudelite ja muude funktsioonide (nt häältegevuse tuvastamise) toimivuse hindamiseks.
  • Teksti normaliseerimise tööriist teksti teisendamiseks kirjalikust vormist kõnevormi ja vastupidi (nt “31.” vs “kolmkümmend esimene”).
• Juurdeviimise tee
• NeMo mudeleid, mida on NeMo Frameworki abil koolitatud või kohandatud, saab NVIDIA Rivaga optimeerida ja kasutusele võtta. Riva pakub konteinereid ja tüürikaarte, mis on spetsiaalselt loodud surunupu juurutamise sammude automatiseerimiseks.

Muud ressursid

GitHubi reposid

• NeMo: NeMo Frameworki peamine hoidla
• NeMo–Jookse: tööriist masinõppekatsete konfigureerimiseks, käivitamiseks ja haldamiseks.
• NeMo-Aligner: Skaleeritav tööriistakomplekt mudeli tõhusaks joondamiseks
• NeMo-kuraator: Skaleeritav andmete eeltöötluse ja kureerimise tööriistakomplekt LLM-idele

Abi saamine
Suhelge NeMo kogukonnaga, esitage küsimusi, hankige tuge või teatage vigadest.

• NeMo arutelud
• NeMo probleemid

Programmeerimiskeeled ja -raamistikud

• Python: Peamine liides NeMo Frameworki kasutamiseks
• Pytorch: NeMo Framework on üles ehitatud PyTorchi peale

Litsentsid

• NeMo Githubi repo on litsentsitud Apache 2.0 litsentsi alusel
• NeMo Framework on litsentsitud NVIDIA AI TOOTELEPINGU alusel. Konteinerit tõmmates ja kasutades nõustute selle litsentsi tingimustega.
• NeMo Frameworki konteiner sisaldab Llama materjale, mida reguleerib Meta Llama3 kogukonna litsentsileping.

Joonealused märkused
Praegu on NeMo kuraatori ja NeMo Aligneri tugi multimodaalsetele mudelitele pooleli ja see on peagi saadaval.

KKK

K: Kuidas kontrollida, kas haavatavus mõjutab minu süsteemi?
V: Saate kontrollida, kas teie süsteem on mõjutatud, kontrollides installitud NVIDIA NeMo Frameworki versiooni. Kui see on vanem versioon 24, võib teie süsteem olla haavatav.

K: Kes teatas turvaprobleemist CVE-2025-23360?
V: Turvaprobleemist teatas Or Peles – JFrog Security. NVIDIA tunnustab nende panust.

K: Kuidas ma saan tulevasi turvabülletäänide teatisi?
V: Külastage NVIDIA tooteturbe lehte, et tellida turvabülletääni teatised ja olla kursis toote turvavärskendustega.

Dokumendid / Ressursid

NVIDIA NeMo raamistik [pdfKasutusjuhend NeMo Framework, NeMo, Framework

Viited

• Kasutusjuhend