Fino ugađanje modela Hugging Face uključuje prilagodbu prethodno obučenog modela specifičnom zadatku koji se radi izvođenjem dodatne obuke s manjim skupom podataka. Ova tehnika je korisna jer nam omogućuje da iskoristimo veliko opće znanje prethodno obučenih modela i da se više usredotočimo na osobitosti našeg zadatka.
Proces finog podešavanja
Prvi korak u finom podešavanju modela Hugging Face je odabir prethodno obučenog modela koji odgovara zadatku. Najčešće korišteni modeli uključuju BERT, GPT-2 i RoBERTa. Bitno je uvesti potrebne biblioteke, kao što je Hugging Face's Transformers knjižnica, PyTorch ili TensorFlow.
import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification
Nakon uvoza odaberite unaprijed obučeni model i instancirajte tokenizator i model, pazeći da navedete ispravnu kontrolnu točku modela i vrstu modela.
model_checkpoint = "distilbert-base-uncased-finetuned-sst-2-english" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint) model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
Zatim pripremite svoj skup podataka za fino podešavanje. To može uključivati tokenizaciju, ispunjavanje i stvaranje serije. Upotrijebite metodu `encode_plus` tokenizatora za tokeniziranje ulaznog teksta i izradite DataLoader za grupiranje podataka.
from torch.utils.data import DataLoader # Tokenize the dataset inputs = tokenizer(sentences, return_tensors="pt", padding=True, truncation=True) # Create a DataLoader dataloader = DataLoader(inputs, batch_size=16)
Sada kada je skup podataka spreman, možete započeti stvarni proces finog podešavanja. Definirajte a trening petlja s određenim optimizatorom, kao što je AdamW, i planerom brzine učenja. Iterativno ažurirajte težine modela dok minimizirate funkciju gubitka.
from transformers import AdamW, get_linear_schedule_with_warmup
optimizer = AdamW(model.parameters(), lr=5e-5)
scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=100, num_training_steps=len(dataloader))
for batch in dataloader:
outputs = model(**batch)
loss = outputs.loss
loss.backward()
optimizer.step()
scheduler.step()
optimizer.zero_grad()
Nakon finog podešavanja, procijenite model na testnom skupu i spremite ga za kasniju upotrebu ako je potrebno.
Knjižnice i funkcije
Nekoliko ključnih biblioteka i funkcija bitno je u procesu finog podešavanja:
- Transformers biblioteka: Razvijena od strane Hugging Face, ova biblioteka nudi širok raspon unaprijed obučenih modela i ključna je za fino podešavanje. Podržava okvire PyTorch i TensorFlow.
- PyTorch/TensorFlow: Ovi popularni okviri dubokog učenja pružaju bitne alate za obuku modela, kao što su optimizatori i planeri brzine učenja, potrebni tijekom finog podešavanja.
- AdamW: Ovo je PyTorch implementacija popularnog Adam optimizatora s ugrađenim smanjenjem težine. Naširoko se koristi za fino podešavanje modela Transformer.
- get_linear_schedule_with_warmup: Ovaj planer brzine učenja, koji pruža biblioteka Transformers, lagano povećava stopu učenja na početku treninga kako bi se izbjegle nagle promjene i glatko je smanjuje na kraju treninga radi učinkovitijeg finog podešavanja.
Zaključno, fino podešavanje modela transformatora grlećeg lica bitna je tehnika za postizanje visokih performansi na određenim NLP zadacima. Razumijevanjem procesa, koda i uključenih biblioteka i funkcija, možete izraditi modele po mjeri koji se ističu u raznim aplikacijama.
