20.500.12556/ReVIS-14244 Gradient calibration in LSTM networks for enhanced learning efficiency doctoral dissertation Kalibracija gradienta v LSTN omrežjih za izboljšano učinkovitost učenja doktorska disertacija Recurrent Neural Networks (RNNs), most notably Long ShortTerm Memory Networks (LSTMs), have established their efficacy across a wide range of sequential data tasks, especially in applications demanding precise modeling of dependencies emerging from the inherent order of the data and complex behavior patterns. Despite substantial advances in the development of LSTM architectures, processing sequences with longterm dependencies remains nontrivial, as gradients may still vanish or grow to numerically unstable magnitudes when propagated across many time steps. In this context, a new approach to alleviating these difficulties is introduced, in which an LSTM architecture integrates Chrono Initialization (CI) with Layer Normalization (LN) to calibrate gradient propagation and more effectively support the learning of longrange dependencies. CI ensures that the gradients are neither too small nor too large, reducing the likelihood of both vanishing and exploding gradients and thereby enabling stable learning over long sequences. LN further contributes to robustness, leading to more consistent training dynamics and improved model performance across different sequence lengths and under varying input conditions, including shifts in data distribution and scale. The proposed approach was evaluated against LSTM baselines with and without CI applied to the forgetand inputgate biases. In addition, several ablation variants were constructed to isolate the contribution of individual components of the proposed design. All model variants were evaluated on a diverse set of sequential learning tasks, covering multiple task formulations and distinct hyperparameter settings. Throughout this evaluation, the proposed approach consistently demonstrated performance gains over all baselines, yielding greater predictive capability and lower validation loss. Additionally, the approach contributed to more efficient training, achieving faster convergence while preserving strong generalization performance across different tasks and datasets. Its versatility was demonstrated on classification, regression, and sequence generation tasks. Overall, the proposed enhancements improve longterm dependency modeling and yield more stable training dynamics in LSTMs, thereby addressing the aforementioned gradientrelated difficulties. Formal analysis offers deeper insights into the underlying processes involved, thus establishing a robust basis for subsequent improvements in sequential data modeling. Ponavljajoče se nevronske mreže (RNN), predvsem mreže z dolgoročnim kratkoročnim spominom (LSTM), so dokazale svojo učinkovitost pri širokem spektru zaporednih podatkovnih nalog, zlasti v aplikacijah, ki zahtevajo natančno modeliranje odvisnosti, ki izhajajo iz notranjega reda podatkov in zapletenih vzorcev vedenja. Kljub znatnemu napredku v razvoju arhitektur LSTM ostaja obdelava zaporedij z dolgoročnimi odvisnostmi še vedno zahtevna, saj se lahko gradienti še vedno izgubijo ali zrastejo do numerično nestabilnih vrednosti, ko se širijo prek več časovnih korakov. V tem kontekstu je predstavljen nov pristop za lajšanje teh težav, v katerem arhitektura LSTM integrira krono inicializacijo (CI) s plastno normalizacijo (LN), da kalibrira širjenje gradientov in učinkoviteje podpira učenje dolgoročnih odvisnosti. CI zagotavlja, da gradienti niso niti premajhni niti preveliki, kar zmanjšuje verjetnost izginotja in eksplozije gradientov ter tako omogoča stabilno učenje v dolgih zaporedjih. LN dodatno prispeva k robustnosti, kar vodi do bolj dosledne dinamike usposabljanja in izboljšane zmogljivosti modela v različnih dolžinah zaporedij in pod različnimi vhodnimi pogoji, vključno s premiki v porazdelitvi in obsegu podatkov. Predlagani pristop je bil ovrednoten na podlagi arhitekture LSTM z in brez uporabe CI na pristranskosti pozabnih in vhodnih vrat. Poleg tega je bilo izdelanih več ablacijskih variant, da bi izolirali prispevek posameznih komponent predlaganega modela. Vse variante modela so bile ocenjene na raznoliki niz sekvenčnih učnih nalog, ki so zajemale več oblik nalog in različne nastavitve hiperparametrov. V tej oceni je predlagani pristop dosledno pokazal izboljšanje zmogljivosti v primerjavi z vsemi osnovnimi modeli, kar je prineslo večjo sposobnost napovedovanja in manjšo izgubo validacije. Poleg tega je pristop prispeval k učinkovitejšemu usposabljanju, dosegel hitrejšo konvergenco in hkrati ohranil močno splošno zmogljivost pri različnih nalogah in podatkovnih nizih. Njegova vsestranskost je bila dokazana pri nalogah klasifikacije, regresije in generiranja zaporedij. Na splošno predlagane izboljšave izboljšujejo modeliranje dolgoročne odvisnosti in zagotavljajo stabilnejšo dinamiko usposabljanja v LSTM, s čimer odpravljajo zgoraj navedene težave, povezane z gradientom. Formalna analiza ponuja globlji vpogled v osnovne procese, s čimer ustvarja trdno podlago za nadaljnje izboljšave v modeliranju zaporednih podatkov. chrono initialization gradient propagation layer normalization long shortterm memory networks recurrent neural networks krono inicializacija mreže dolgoročnega kratkoročnega spomina plastna normalizacija propagacija gradienta rekurentne nevronske mreže true true false A. Tolić Angleški jezik Slovenski jezik Doktorsko delo/naloga 2026-07-14 11:16:55 2026-07-14 11:16:56 2026-07-15 03:18:04 0000-00-00 00:00:00 2026 0 Novo mesto 2026 Novo mesto Na ov.: Doctoral dissertation; XXI, 265 str. 0000-00-00 Zaloznikova Objavljeno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.85:004.032.26(043.2) 284682499 DR_Tolic_Antonio_2026.pdf DR_Tolic_Antonio_2026.pdf 1 BFB25993A6E7FD79ECC200BE9A511DE3 cc1e4372c0e200978ecf546d28215a81bde7cac9d2972f8a26b3a2221b1d3376 87e6bdc5-7f65-11f1-b063-001a4af901a5 https://revis.openscience.si/Dokument.php?lang=slv&id=17273 Fakulteta za informacijske študije v Novem mestu 0 0 0