U novembru 2016, Microsoft je donio prednost u prevodu s Al-jakim stroju, zvani Prijevod za neuralne mašine (NMT), za poduzetnike i okončaju slične korisnike. prošli tjedan Microsoft je doveo NMT mogućnosti na ivicu oblaka tako što je ZASUCIO NPU, AI posveceni procesor integrisan u Stari 10, Hufenomenov najnoviji admiralski telefon. Novi čip čini da su prevoje na uređaj dostupni na uređaju čak i u odsustvu pristupa internetu, omogućivši sistemu da proizvede prevoje čija je kvaliteta u okviru internet sistema.

U cilju postizanja tog otkrića, istraživači i inžinjeri iz Microsofta i Hufenomeni sarađivali su u prilagođenju neuronskog prevoda u tu novu računalnu sredinu.

Najnapredniji NMT sistemi koji su trenutno u proizvodnji (tj., korišteni na skali u oblaku od strane preduzeća i aplikacija) koriste arhitekturu neuralne mreže kombiniranje višestrukih slojeva LSTM mreže, algoritam pažnje, i prevođenje (dekoder) sloj.

Ispod objasnjava animaciju, na Pojednostavljen nacin, kako ova multi-sloj neuralna mreža funkcionira. Za više detalja, pozovite "Šta je prevođenje mašine"na lokaciji Microsofta za prevodjenje.

U ovom oblaku implementacije oblaka, ovi srednji LOSTM slojevi konzumiraju veliki dio računne moći. Da bi mogli pokrenuti punu NMT na mobilnom uređaju, bilo je neophodno pronaći mehanizam koji bi mogao smanjiti te komputacione troškove dok se čuva, što je više moguće, kvalitet prevođenja.

Ovo je mjesto gdje se Hufenomeni jedinica za neuralno obradu (NPU) pojavljuje u igri.  Microsoftovi istraživači i inženjeri iskoristili su NPU, koji je posebno dizajniran za ekcel u niskolativnim AI computacijama, u cilju opterećenja operacija koje bi bile neprihvatljivo sporo za obradu glavnog CPU-a.

Provedbu

Provedba je sad dostupna na Microsoft aplikaciji za prevodjenje za Hufenomeni optimizes 10.

Konkretno, ova implementacija zamenjuje ove bliskoistm mrežne slojeve pored dubokog feed-Forward neuralna mreža. Duboke neuralne mreže naprijed su moćne, ali zahtijevaju vrlo velike količine konputacije zbog velike povezanosti među neuronima.

Nervne mreže se primarno oslanjaju na multipaciju Matriksa, operaciju koja nije kompleksna sa matematičkog stanovišta, nego vrlo skupa kad se izvodi na skali potrebnim za tako duboku neuralnu mrežu. Hufenomeni NPU su odlični u izvođenju ovih Matriksa, u masivnom paralelnoj modi. Ona je također prilično efikasna i od stanovišta moći iskorištenja energije, što je važna kvaliteta uređaja za napajanje baterije.

Na svakom sloju ove mreže za prenos, NPU računata i sirova neuronska proizvodnja i naknadni Funkcija ReLu aktivacije efikasno i sa vrlo niskim mlijekom. Time što je u rasponu vrlo brzih memorija na NPU, ona obavlja te kontuacije paralelno bez da mora plaćati troškove za prijenos podataka (tj., usporavanje performansi) između CPU-a i NPU.

Kada se poslednji sloj ove duboke mreže za prenos sistema izračunti, sistem ima bogatu zastupljenost za presudu izvornog jezika. Ova zastupljenost je zatim nahranjena preko lijeve-desne LSTM "dekodera" da bi se proizvela svaka riječ na meti, uz isti algoritam pažnje koji se koristi na internet verziji NMT-a.

Kao Anthony Aue, glavni inženjer za razvoj softvera u okviru Microsoft tima za prevodioca je objasnio: "uzimanje sistema koji vodi na mocne servere u centru podataka i raditi nepromijenjeno na mobilnom telefonu nije izvodljiva opcija. Pokretni uređaji imaju ograničenja u računanju struje, memorije i korištenja vlasti koje se ne mogu imati u oblacima. Imati pristup NPU, zajedno sa drugim arhitektonskim sistemom, omogućio nam je da radimo oko mnogih tih ograničenja i da dizajniramo sistem koji može brzo i efikasno raditi na uređaju bez kompromisa u prevodu."

Provedba ovih modela prevođenja na inovativnom NPU chipsetu omogućila je Microsoftu i Hufenomeni da dostavi uređaj za prevođenje na uređaju na kvalitet koji se može uporediti sa baznim sistemom oblaka čak i kad ste van mreže.