Egy korábbi bejegyzésünkben megnismertünk egy Neurális Hálózaton alapuló számítógépes nyelvészeti eljárást a word2vec-et. Ma ennek egy egyenesági leszármazotját fogjuk górcső alá venni, a “doc2vec”-et.
doc2vec
Címke: Számítógépes nyelvészet
Word2vec
Egy korábbi bejegyzésben megnéztük, hogy néz ki a Szózsák modell a Számítógépes nyelvészet ősmodellje. Mai bejegyzésünkbe egy modernebb eljárással fogunk megismerkedni, az ún. word2vec-el. Ami Neurális Hálózatok segítségével old meg, végez számítógépes nyelvészeti feladatokat.
Szózsák modell normalizálása
Egy korábbi bejegyzésben már átnéztük a szózsák modellt (bag-of-words), és annak problémáit. A mai bejegyzésben megnézzük, mit lehet tenni azért, hogy a szótár méretét csökkentsük és javítsuk a vektorizálás teljesítményét.
Szózsákmodell (Bag-of-words)
Ebben a bejegyzésben átnézzük a legalapvetőbb számítógépes nyelvészeti (Natural Language Processing, NLP) eljárást, az úgynevezett szózsákmodellt (bag-of-words).
Sajó Zsolt Attila 