Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere — a review (Polish)

A Polish translation of an article, that we wrote with Mike Erlihson, PhD as a part of #DeepNightLearners series.

Aleksander Molak

--

Scroll down for English and Hebrew versions.

Ryc. 0. Źródło: https://arxiv.org/abs/2005.10242

Other language versions:

- English (original)
- Hebrew

Współautorem tego artykułu jest Mike Erlihson. W tłumaczeniu pomógł Mateusz Modrzejewski ❤️

W zasadzie dowolne dane mogę być reprezentowane jako wektor w ciągłej przestrzeni reprezentacji. Często jednak wektory dla różnych punktów danych koncentrują się w wąskim wycinku tej przestrzeni. Czy możemy tego uniknąć?

Wstęp

Uczenie się reprezentacji to szeroki termin, obejmujący grupę metod, pozwalających nam na budowanie reprezentacji danych o właściwościach korzystnych z punktu widzenia docelowych zadań (np. klasyfikacji lub generacji tekstu). Doskonałym przykładem uczenia się reprezentacji jest wykorzystujący kontrastywną funkcję straty samo-nadzorowany algorytm word2vec zaproponowany w 2013 roku przez Tomáša Mikolova i kolegów. Algorytm ten pozwala na budowanie zanurzeń (embeddings) o wielu pożądanych…

--

--

Aleksander Molak
Aleksander Molak

Written by Aleksander Molak

Researcher, Educator, Author, Advisor || Causality, NLP & Probabilistic Modeling || Learn more: bit.ly/learn-more-medium