P:
Kako inženjeri mogu procijeniti skupove treninga i ispitne setove kako bi uočili moguće prekomjerno uklapanje u strojno učenje?
A:Da biste shvatili kako se to radi, potrebno je temeljno razumjeti uloge različitih skupova podataka u tipičnom projektu strojnog učenja. Trening set je postavljen tako da tehnologiji daje referentni okvir - bazu podataka koju program koristi za donošenje prediktivnih i vjerojatnih odluka. Testni skup služi za testiranje stroja na podacima.
Overfitting je sindrom u strojnom učenju gdje model ne u potpunosti odgovara podacima ili svrsi.
| Besplatno preuzimanje: Strojno učenje i zašto je to važno |
Jedna od općih zapovijedi strojnog učenja je da podaci o treningu i testni podaci trebaju biti zasebni skupovi podataka. Postoji prilično širok konsenzus o tome, barem u mnogim aplikacijama, zbog određenih problema s korištenjem istog skupa koji ste koristili za obuku za testiranje programa strojnog učenja.
Kada program strojnog učenja koristi skup treninga, koji bi se u osnovi mogao nazvati skup inputa, rad taj skup treninga donosi za donošenje odluka o prediktivnim rezultatima. Jedan vrlo osnovni način razmišljanja je da je set za obuku "hrana" za proces intelektualnog računanja.
Kad se isti taj skup koristi za testiranje, stroj često može vratiti izvrsne rezultate. To je zato što je te podatke već vidio. Ali čitav cilj strojnog učenja u mnogim je slučajevima postići rezultate o podacima koji dosad nisu viđeni. Programi strojnog učenja za opću namjenu izrađeni su za rad na različitim skupima podataka. Drugim riječima, princip strojnog učenja je otkriće, a obično ne postignete toliko toga koristeći inicijalni set treninga u testne svrhe.
Ocjenjujući skupove treninga i testne setove za moguće prekomjerno opremanje, inženjeri mogu procijeniti rezultate i shvatiti zašto bi program mogao to učiniti drugačije na komparativnim rezultatima ova dva skupa, ili u nekim slučajevima kako bi stroj mogao učiniti previše dobro na samim podacima o obuci,
Jason Brownlee iz Strojnog učenja majstorstva opisuje neke od ovih problema u strojnom učenju iz 2014. godine i ovako opisuje:
"Model koji je odabran zbog njegove točnosti na skupu podataka o treningu, a ne zbog njegove točnosti na nevidljivom skupu podataka za test, vjerojatno će imati nižu točnost na nevidljivom skupu podataka za test", piše Brownlee. "Razlog je taj što model nije tako generaliziran. Specalizirao se na strukturu u skupu podataka za obuku (kurziv je dodan). To se naziva prekomjerno uklapanje i više je jezivo nego što mislite."
Laički rečeno, mogli biste reći da program specijalizacije postaje previše krut u specijalizaciji za skup podataka o treningu. To je još jedan metaforički način da se utvrdi zašto program strojnog učenja ne služi optimalno korištenjem skupa za trening za testni set. To je također dobar način da pristupite ocjeni ova dva različita skupa, jer će rezultati pokazati inženjerima puno o tome kako program radi. Želite manji razmak između točnosti za oba modela. Želite osigurati da sustav nije pretrpan ili "precizno spojen" za određeni skup podataka, ali to je općenitije i može rasti i razvijati se naredbom.
