Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere — a review (Polish)
A Polish translation of an article, that we wrote with Mike Erlihson, PhD as a part of #DeepNightLearners series.
Scroll down for English and Hebrew versions.
Other language versions:
Współautorem tego artykułu jest Mike Erlihson. W tłumaczeniu pomógł Mateusz Modrzejewski ❤️
W zasadzie dowolne dane mogę być reprezentowane jako wektor w ciągłej przestrzeni reprezentacji. Często jednak wektory dla różnych punktów danych koncentrują się w wąskim wycinku tej przestrzeni. Czy możemy tego uniknąć?
Wstęp
Uczenie się reprezentacji to szeroki termin, obejmujący grupę metod, pozwalających nam na budowanie reprezentacji danych o właściwościach korzystnych z punktu widzenia docelowych zadań (np. klasyfikacji lub generacji tekstu). Doskonałym przykładem uczenia się reprezentacji jest wykorzystujący kontrastywną funkcję straty samo-nadzorowany algorytm word2vec zaproponowany w 2013 roku przez Tomáša Mikolova i kolegów. Algorytm ten pozwala na budowanie zanurzeń (embeddings) o wielu pożądanych…
