ScoreSdeVeScheduler

ScoreSdeVeScheduler adalah penjadwal persamaan diferensial stokastik (SDE) dengan varians yang meledak. Penjadwal ini diperkenalkan dalam makalah Score-Based Generative Modeling through Stochastic Differential Equations oleh Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, dan Ben Poole.

Abstrak dari makalah tersebut adalah:

Membuat noise dari data itu mudah; membuat data dari noise adalah pemodelan generatif. Kami menyajikan persamaan diferensial stokastik (SDE) yang secara halus mengubah distribusi data yang kompleks menjadi distribusi prior yang diketahui dengan perlahan menyuntikkan noise, dan SDE waktu-terbalik yang sesuai yang mengubah distribusi prior kembali menjadi distribusi data dengan perlahan menghilangkan noise. Yang krusial, SDE waktu-terbalik hanya bergantung pada medan gradien yang bergantung waktu (\aka, skor) dari distribusi data yang terganggu. Dengan memanfaatkan kemajuan dalam pemodelan generatif berbasis skor, kami dapat memperkirakan skor-skor ini secara akurat dengan jaringan saraf, dan menggunakan solver SDE numerik untuk menghasilkan sampel. Kami menunjukkan bahwa kerangka kerja ini merangkum pendekatan-pendekatan sebelumnya dalam pemodelan generatif berbasis skor dan pemodelan probabilistik difusi, memungkinkan prosedur sampling baru dan kemampuan pemodelan baru. Secara khusus, kami memperkenalkan kerangka kerja predictor-corrector untuk mengoreksi kesalahan dalam evolusi SDE waktu-terbalik yang diskritisasi. Kami juga menurunkan neural ODE yang ekuivalen yang mengambil sampel dari distribusi yang sama seperti SDE, tetapi juga memungkinkan komputasi likelihood yang tepat, dan efisiensi sampling yang lebih baik. Selain itu, kami menyediakan cara baru untuk menyelesaikan masalah invers dengan model berbasis skor, seperti yang ditunjukkan dengan eksperimen pada generasi bersyarat kelas, inpainting gambar, dan pewarnaan. Digabungkan dengan beberapa peningkatan arsitektural, kami mencapai kinerja pemecahan rekor untuk generasi gambar tanpa syarat pada CIFAR-10 dengan skor Inception 9.89 dan FID 2.20, likelihood yang kompetitif 2.99 bits/dim, dan mendemonstrasikan generasi berkeandalan tinggi gambar 1024 x 1024 untuk pertama kalinya dari model generatif berbasis skor.

ScoreSdeVeScheduler

SdeVeOutput