Machine Learning osagaien ziurgabetasunei aurre egitea (2. zatia)
Sistema kritikoetan Machine Learning osagaiak erabiltzeak segurtasun-kontzeptu sendoa eta kontuan hartutako sistemaren arriskua nahiko baxua dela argudiatzeko eta frogatzeko gaitasuna eskatzen du. Gure aurreko blog-eko argitalpenean (Machine Learning osagaien ziurgabetasunei aurre egitea (1. zatia), ziurgabetasuna kalkulatzeko distantzia-neurri estatistikoak erabiltzen dituen hurbilketa bat eztabaidatu genuen, segurtasun-kontzeptu integral baten eraikuntza-bloke potentzial bat. Testuingurua neurtzeko ikuspegiaren eraginkortasuna frogatu genuen. Garrantzitsua exekuzio garaian oinarritutako bi erabilera kasuetan, trafiko-seinaleen ezagutzan eta pertsonaren detekzioan, aurkeztutako hurbilketa gehiago zabaltzen dugu testuinguruaren ziurgabetasunaren estimazio-neurri bat barne serie honen aurreko mezuari, testuinguruaren ziurgabetasuna ere frogatzen dugu bi adibidetan: Alemaniako trafiko seinaleen aitorpena eta pertsonaren detekzioa.
Distantzia-neurri estatistikoak erabiltzea exekuzioan esparrua betetzen dela ebaluatzeko (2. zatia)
Aurreko blogean, Machine Learning osagaiekin monitorizatzeko sistemen erronka erabakigarriak motibatu genituen haien fidagarritasuna, segurtasuna eta eraginkortasuna bermatzeko. Apustu handiko inguruneetan, hala nola osasun-laguntza, gidatzeko autonomoa, industria-kontrola eta finantza-sistemetan, ereduen hutsegiteen edo zehaztasun-gabezien ondorioak larriak izan daitezke, giza bizitzarako arriskuak, finantza-galera garrantzitsuak edo operazio-etenaldiak barne.
Etengabeko monitorizazioak anomaliak, errendimenduaren narriadura eta esperotako portaeraren desbideratzeak denbora errealean detektatzeko aukera ematen du.
Jarraipen-ikuspegiek datuen noraeza bezalako arazoak identifikatzen lagun dezakete, non sarrerako datuen propietate estatistikoak denboran zehar aldatzen diren, eta baliteke ereduaren zehaztasuna murriztea. Aldizkako monitorizazioak ere laguntzen du alborapenak detektatzen, arauzko estandarrak betetzen direla ziurtatzen eta estandar etikoak mantentzen, diskriminazio-emaitzak saihestuz. Jarraipen-sistema egokiak ezarriz, erakundeek esku-hartze puntualak abiarazi ditzakete, hala nola, ereduen birziklapena, parametroen doikuntzak edo aurreko bertsioetara itzultzea, horrela arriskuak arintzeko eta sistema kritikoen osotasuna eta fidagarritasuna mantenduz.
Blogaren azken argitalpenean, ingurumen-faktoreetatik sortutako zalantzak jorratu genituen. Distantzian oinarritutako metodo estatistiko bat proposatu genuen exekuzioan zehar testuinguruaren garrantzia modu eraginkorrean identifikatzeko. Bere funtzionamendu-printzipioa gehiago ilustratu dugu bi adibide errealistekin. Argitalpen honetan, hori zabaltzen dugu gure ikuspegia nola erabil daitekeen esparruaren betetze-ziurgabetasuna kuantitatiboki lortzeko, proposatutako Scope Compliance Uncertainty Metric (SCUE) (Farhad, Sorokos, Akram eta Aslansefat, 2024) exekuzio-denboran erabiltzeko.
Adibidea: Trafiko seinaleen ezagutza
Erakustaldia egiteko, blogeko argitalpen sorta honetako 1. ataleko trafiko seinaleen aitorpenaren adibidea hartuko dugu berriro. Argitalpen horretan, adibidea erabili dugu SafeML-ren funtzionamendu-printzipioa erakusteko. Hurrengo urratsa printzipio hau erabili eta eraikitzea da Scope Compliance Uncertainty Estimate (SCUE). Horretarako algoritmoa beheko irudian azaltzen da.
Diseinu fasean ziurgabetasunaren zenbateslearen funtzioa eraikitzeko, gure datu-multzoaren azpilagin bat hautatu dugu. Ondoren, datu multzo bat sortu dugu “datu multzo adierazgarria” hortik kanpo. Adibide honetarako, Alemaniako Traffic Sign Recognition Benchmark (GTSRB) datu multzoa erabili dugu (Stallkamp, Schlipsing, Salmen eta Igel, 2011).
Kalibrazio datuak
Kalibrazio-multzoa nahi den aplikazioaren proba-multzoko datuak erabiliz ondu zen. Kalibrazio-multzoaren helburua errendimendu txikiagoko datuen azpimultzo bat ezartzea da (errendimendua zehaztasuna izan daiteke, batez besteko errore koadratua, etab.). Hori lortu dugu GTSRB datu-multzoaren datu guztien % 50 hautatuz, laginak ausaz hautatuta. Hautatutako datuetatik, lehen %75a 1. ustelkeria motarekin hondatu dugu (adibidez, Gauss lausotzea) eta azken %75a 2. ustelkeria motarekin (adibidez, lainoa). Honek datuen % 50eko multzo gainjarri bat ekarri zuen, eta, aldi berean, 1 motako eta 2 motako ustelkeriak erabiliz hondatu zen. Ustelkeriari dagokionez, irudien ustelkeriaz baliatu gara (Michaelis, et al., 2019). Jarraian prozesuaren irudikapen eskematikoa erakusten da.
Inferentzia egiteko, AlexNet eredua erabili dugu (Krizhevsky, Sutskever eta Hinton, 2023). Errendimendu txikiagoko loteen leiho bat lortu dugu (kasu honetan, zehaztasuna). Lote-kopurua 1500 izatea aukeratu zen, lote bakoitzean 50 lagin egon zirelarik.
Esparrua betetzeko ziurgabetasunaren estimazioa (SCUE)
Esparruaren Betetzea kalkulatzeko Ziurgabetasun estimazioa, erregresio-analisia erabili dugu neurtutako distantziaren (Wasserstein, Kolmogrov-Smirnov, etab.) eta errendimenduaren (zehaztasunik eza, batez besteko errore koadratuaren, etab.) arteko kurba polinomiko bat egokitzeko. Konputazioa errazteko, osagai nagusien analisia (PCA) ere erabili dugu azkenaurreko geruzan eta osagai nagusiak atera ditugu.
Exekuzio denboraren exekuzioa osagai nagusien analisia (PCA) erabiliz lortzen da, dimentsioa murrizteko erabiltzen den teknika estatistikoa, datu-multzo batean ahalik eta aldakortasun handiena mantenduz.
Honek jatorrizko aldagaiak osagai nagusi izeneko korrelaziorik gabeko aldagaien multzo berri batean eraldatzen ditu, datuetatik hartzen duten bariantza kopuruaren arabera ordenatuta daudenak. Lehenengo osagai nagusiak bariantza maximoa jasotzen du, bigarren osagai nagusiak eta abar. Eraldaketa hori datuen kobariantza-matrizearen bektore propioak eta balio propioak aurkituz lortzen da, non bektore propioek bariantza maximoaren norabideak adierazten dituzten eta balio propioek bariantza horren magnitudea adierazten duten. Datuak osagai nagusi horietan proiektatuz, PCAk datu-multzoaren dimentsioa murrizten du, sinplifikatuz, funtsezko ereduak eta egiturak mantenduz. Datuen bariantza osoaren %85 gutxienez azaltzen duten osagai kopurua automatikoki hautatu dugu. Beheko grafikoak osagai nagusiak automatikoki hautatzeko prozesu hau erakusten du.
Distantzia Estatistikoaren Desberdintasuna Konputatzea
Ondoren, SDDa kalkulatu dugu, hau da, Distantzia Desberdintasun Estatistikoa (blog-sail honetako 1. zatikoa) loteen leihoaren eta prestakuntza-datuen artean. Distantzian oinarritutako zenbatesle estatistikoak koherenteak direla ikusi genuen neurtutako SDDaren eta behatutako errendimenduaren (zehaztasunik gabeko) arteko korrelazioa nahi bezala jokatzen duela ziurtatzeko. Horrek esan nahi du errendimendua gutxitzen dela SDD handituz. Beheko irudian, lortutako SDDaren eta lotean grabatutako ereduaren errendimenduaren artean egokitzen den bigarren graduko kurba polinomiko baten korrelazioa erakusten da.
Egokitze polinomiko kurba testuinguruaren ziurgabetasunaren funtzio gisa erabiltzen da. Parametroak gordetzen dira eta exekuzio denboran erabiltzeko kargatzen dira.
Exekuzio demoa SVHN erabiliz
Testuinguruaren ziurgabetasuna exekuzioan nola erabiltzen den erakusteko, GTSRB datu-multzoaren antzeko datu-multzo bat erabili dugu, Street View House Numbers (SVHN) datu-multzoa (Netzer et al., 2011). SVHN Google Street View-ek atzemandako etxe-zenbakien irudietatik ateratako 600.000 zifra etiketatu baino gehiago ditu. Datu-multzoko irudi bakoitzak zifra bakarra (0-9) dauka, eta oharpenekin digituen etiketa, muga-koadroaren koordenatuak eta jatorrizko irudia ematen dira. GTSRB-ren antzera, SVHN-k aldakortasuna du digituen itxuran, argi-baldintzetan eta atzeko planoko nahastean, eta erreferente bikaina da digituak ezagutzeko algoritmoen sendotasuna eta zehaztasuna ebaluatzeko. Datu-multzoa asko erabiltzen da bai ikerketa akademikoetan bai aplikazio praktikoetan mundu errealeko eszenatokietarako duen garrantziagatik eta bere oharpen integralengatik. Beheko konparaketak adibide honetarako SVHN domeinutik kanpoko datu perfektu gisa (ODD) gisa erabil daitekeen erakusten du.
Koherentziaren mesedetan, SVHN eta GTSRB datu-multzoetako irudiak 32 * 32 tamainara moztu ziren. Beheko taulak SVHN datu multzoko laginetan lortutako SCUE balioen emaitzak erakusten ditu. Taulan ikusten den bezala, kurba polinomikoak arrakastaz identifikatu zuen SVHN OOD datu multzo gisa.
| Lagin sorta | SCUE – GTSRB | SCUE – SVHN |
|---|---|---|
| 0 | 0.000 | 0,91 |
| 1 | 0.000 | 0,88 |
| 2 | 0.000 | 0,94 |
| 3 | 0,092 | 0,90 |
| 4 | 0.000 | 0,95 |
| 5 | 0,112 | 0,90 |
| 6 | 0,004 | 0,97 |
| 7 | 0.000 | 0,99 |
| 8 | 0.000 | 0,98 |
| 9 | 0.000 | 1.00 |
Adibidea: Pertsonak hautematea
Ebaluatu dezagun metodoa pertsona detektatzeko adibide bat erabiliz. Erabiltzen den metodologia trafiko seinaleak ezagutzeko aurreko adibidearen antzekoa da. Horrez gain, COCO (Lin et al., 2014) datu multzoan trebatutako YOLO (Redmon & Farhadi, 2018) eredua erabili dugu pertsonak detektatzeko. CityScape (Cordts, et al., 2016) datu-multzoa domeinutik kanpoko datutzat hartu dugu. Beheko taulak COCO eta CityScape datu-multzoetako lagin batzuk erakusten ditu.
Trafiko seinaleen aitorpenaren antzera, beheko taulak domeinu barruko eta domeinutik kanpoko datuetarako lortutako SCUE balioak erakusten ditu. Balioek argi adierazten dute COCO eta CityScape datu-multzoen arteko bereizketa. Bi datu-multzoek antzekotasun asko dituztenez, ikus daiteke SCUE balioak ez direla CityScaperentzat (COCOrekin alderatuta) SVHNrentzat (GTSRBrekin alderatuta) bezain altuak.
| Lagin sorta | SCUE – COCO | SCUE – Hiri-paisaia |
|---|---|---|
| 0 | 0,034 | 0,439 |
| 1 | 0,045 | 0,466 |
| 2 | 0,149 | 0,436 |
| 3 | 0,071 | 0,436 |
| 4 | 0,031 | 0,450 |
| 5 | 0,152 | 0,446 |
| 6 | 0,012 | 0,434 |
| 7 | 0,023 | 0,440 |
| 8 | 0,017 | 0,450 |
| 9 | 0,055 | 0,439 |
Ondorioa
Serie honen aurreko blogeko argitalpenak Distantzia Estatistikoan oinarritutako Desberdintasuna (SDD) erabiltzearen printzipioa frogatu zuen testuinguruaren garrantzia lortzeko. Argitalpen honetan, hori zabaldu dugu printzipio hau nola molda daitekeen erakusteko esparrua betetzeko ziurgabetasun-neurri bat exekuzio garaian lortzeko. Trafiko seinaleen ezagutza eta pertsonak detektatzeko adibideak erabiliz frogatu dugu. Gehiago ikasi eta zuk zeuk probatu nahi baduzu, demoa erabilgarri jarri dugu erabilera publikorako. Gaia interesatzen bazaizu edo edozein galdera/iruzkin baduzu, jar zaitez gurekin harremanetan.
Cordts, M., Omran, M., Ramos, S., Rehfeld, T., Enzweiler, M., Benenson, R., . . . Schiele, B. (2016). Hiri-paisaien datu-multzoa, hiri-eszena semantikoa ulertzeko. Proc. Ordenagailuaren Ikusmenari eta Ereduen Aitorpenari buruzko IEEE Konferentziaren (CVPR).
Farhad, A.-H., Sorokos, I., Akram, M. eta Aslansefat, K. (2024). Esparrua Betetzearen Ziurgabetasunaren Estimazioa Distantzia Estatistikoaren bidez. Informazioaren eta Komunikazioaren Etorkizuna Jardunaldia(413-432 or.).
Krizhevsky, A., Sutskever, I. eta Hinton, G. (2023). ImageNet sailkapena sare neuronal konbolutibo sakonekin (AlexNet) ImageNet sailkapena sare neuronal konbolutibo sakonekin (AlexNet). Aktoreakfit. Com.
Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., . . . Zitnick, C. (2014). Microsoft coco: objektu arruntak testuinguruan. Computer Vision–ECCV 2014: 13. Europako Konferentzia, 2014ko irailaren 6tik 12ra, Proceedings, Part V 13. Zurich, Suitza.
Michaelis, C., Mitzkus, B., Geirhos, R., Rusak, E., Bringmann, O., Ecker, A., . . . Brendel, W. (2019). Benchmarking sendotasuna objektuen detekzioan: gidatze autonomoa negua datorrenean. arXiv aurreinprimaketa arXiv:1907.07484.
Netzer, Y., Wang, T., Coates, A., Bissacco, A., Wu, B. eta Y. Ng, A. (2011). Irudi naturalen zifrak irakurtzea gainbegiratu gabeko ezaugarrien ikaskuntzarekin. NIPS Tailerra Deep Learning eta Gainbegiratu gabeko Ezaugarrien Ikaskuntzari buruzkoa.
Redmon, J. eta Farhadi, A. (2018). Yolov3: hobekuntza gehigarria. arXiv aurreinprimaketa arXiv:1804.02767.
Stallkamp, J., Schlipsing, M., Salmen, J. eta Igel, C. (2011). {G}erman {T}raffic {S}ign {R}aitorpena {B}enchmark: klase anitzeko sailkapen lehiaketa. IEEE Sare Neuronalen Nazioarteko Konferentzia Bateratua(1453-1460 orr.).
