Marina Adriana MERCIONI, susținere publică a Tezei de doctorat

Titlul tezei:  “Îmbunătățirea performanței rețelelor neuronale profunde prin dezvoltarea de noi funcții de activare” 

Comisia de doctorat: 

• Președinte: Prof.dr.ing. Marius MARCU  (Universitatea Politehnica Timișoara) 
• Conducător științific: Prof.dr.ing. Ștefan HOLBAN (Universitatea Politehnica Timișoara) 
• Referenți: 
  • Prof.dr.ing. Prof.univ.dr.ing. Rodica POTOLEA (Universitatea Tehnică Cluj-Napoca) 
  • Prof.univ.dr.mat. Alexandru CICORTAS (Universitatea de Vest din Timișoara) 
  • Prof.univ.dr.ing. Cătălin-Daniel CĂLEANU (Universitatea Politehnica Timișoara) 

Această teză își propune să introducă noi funcții de activare în Învățarea Profundă în vederea îmbunătățirii performanței arhitecturilor rețelelor neuronale artificiale. De-a lungul timpului s-au dezvoltat funcții de activare, dar care prezintă inconsistențe și în multe cazuri conduc la erori mari pe setul de test. State-of-the art cuprinde un număr total de 51 de funcții de activare studiate, iar funcțiile propuse în cadrul tezei sunt atât funcții simple cât și funcții compuse, atât cu parametrii predefeniți cât și cu parametrii învățabili. Eficiența lor a fost testată pe mai bine de 24 seturi de date, atât din Vederea Artificială cât și din Procesarea Limbajului Natural, dar și pe date de tip serii de timp. Au fost folosite peste 10 arhitecturii, de la simple (LeNet-5) la complexe (arhitecturi reziduale, arhitecturi în blocuri, rețea în rețea, etc). Am comparat propunerile mele cu funcții de activare clasice (sigmoida, tangentă hiperbolică), dar și cu funcții de activare curente precum funcția liniară rectificată – Rectified Linear Unit, pe scurt RELU, Parametric RELU, Leaky RELU, Softplus, Swish, Mish, Talu, TanhExp, funcția exponențială (ELU), SELU, etc, funcțiile propuse conducând la îmbunătățiri de performanță.