Marraskuussa 2016, Microsoft toi hyötyä AI-powered kone käännös, alias Neural Machine translation (NMT), kehittäjille ja loppu käyttäjille samankaltaisia. Viime viikolla Mikroskooppi aiheuttaa NMT kykenevyys jotta hioa-lta pilvi hyödyntämällä NPU:ta, AI-erillistä prosessoria, joka on integroitu Perä mies 10, Huawei uusin lippu laiva Puhelin. Uusi siru tekee AI-powered käännöksiä saatavilla laitteessa myös ilman Internet-yhteyttä, jonka avulla järjestelmä tuottaa käännöksiä, joiden laatu on par online-järjestelmä.

Tämän läpi murron saavuttamiseksi Microsoftin ja Huawein tutkijat ja insinöörit tekivät yhteistyötä neuraalisen käännöksen mukauttamiseksi tähän uuteen tietojenkäsittely-ympäristöön.

Kehittynein NMT järjestelmiä tällä hetkellä tuotannossa (eli käytetään asteikolla pilvi yritykset ja sovellukset) käyttävät neuraalilaskennan verkko arkkitehtuurin yhdistämällä useita kerroksia LSTM-verkot, huomio algoritmi ja käännös (dekooderi) kerros.

Animaatio alla selitetään, yksinkertaistetulla tavalla, miten tämä monikerroksinen neuraalilaskennan verkko toimii. Lisä tietoja, Katso "Mikä on kone käännös sivu"Microsoft Translator-sivustossa.

Tässä pilvi NMT täytäntöönpanoa, nämä keskimmäinen LSTM kerrokset kuluttavat suuren osan laskenta tehoa. Voidakseen suorittaa täyden NMT mobiililaitteella, oli tarpeen löytää mekanismi, joka voisi vähentää näitä laskennallisen kustannuksia säilyttäen, niin paljon kuin mahdollista, käännöksen laatua.

Tässä on Huawein Neural Processing Unit (NPU) astuu peliin.  Microsoftin tutkijat ja insinöörit käyttivät NPU, joka on erityisesti suunniteltu Kunnostautua matalan latenssi AI laskelmat, purkaa toimintaa, joka olisi ollut sietämättömän hidas prosessi on tärkein CPU.

Täytäntöönpano

Käyttöönotto nyt saatavilla Microsoft Translator sovellus Huawei Mate 10 optimoi käännös lataamalla eniten Compute-intensiivinen tehtävät NPU.

Erityisesti tämä toteutus korvaa nämä Lähi LSTM verkon kerrokset syvä fEED-Forward neuraalilaskennan verkko. Deep Feed-eteenpäin hermo verkot ovat voimakkaita, mutta vaativat erittäin suuria määriä laskentaa, koska korkea liitettävyys keskuudessa neuronien.

Neuraalilaskennan verkot luottavat ensisijaisesti matriisi multiplications, toiminta, joka ei ole monimutkainen matemaattisesta näkö kulmasta, mutta erittäin kallista, kun suoritetaan asteikolla tarvitaan niin syvä Neuraalilaskennan verkkoon. Huawei NPU kunnostautuu suorittaessaan näitä matriisi schoolien massiivisesti rinnakkain tavalla. Se on myös melko tehokas teho käyttö näkö kulmasta, tärkeä laatu Paristokäyttöiset laitteet.

Kunkin kerroksen tämän rehun eteenpäin verkko, NPU laskee sekä raaka hermo päätteiden tuotos ja sen jälkeen ReLu-aktivointi toiminto tehokkaasti ja hyvin pienillä latensseja. Hyödyntämällä runsaasti nopeaa muistia NPU, se suorittaa nämä laskelmat rinnakkain joutumatta maksa maan kustannuksia tiedon siirtoon (eli hidastaa suoritus kykyä) välillä CPU ja NPU.

Kun lopullinen kerros tämän syvän rehun eteenpäin verkko on laskettu, järjestelmä on rikas edustus lähde kielen lause. Tämä edustus on sitten syötetään vasemmalta oikealle LSTM "dekooderi" tuottaa kunkin kohde kielen sana, jossa sama huomio algoritmi käyttää online-versio NMT.

As Anthony AueMicrosoft Translator-tiimin pääasiallinen ohjelmisto kehitys insinööri kertoo: "Kun järjestelmä, joka toimii tehokas pilvi palvelimia Data keskuksen ja käynnissä se ennallaan matka puhelin ei ole toteuttamiskelpoinen vaihto ehto. Mobiililaitteilla on rajoituksia laskenta tehoa, muistia ja virran kulutusta varten, joita pilvi ratkaisuilla ei ole. Pääsy NPU, yhdessä joidenkin muiden arkkitehtoninen hienosäädön, antoi meille mahdollisuuden kiertää monia näistä rajoituksista ja suunnitella järjestelmä, joka voi ajaa nopeasti ja tehokkaasti laitteen ilman kompromisseja käännöksen laatu."

Täytäntöönpano näiden käännös mallien innovatiivinen NPU piiri sarja saa Microsoft ja Huawei toimittaa laitteen neuraalilaskennan käännös on laadultaan verrattavissa pilvi-pohjaiset järjestelmät, vaikka olet pois verkosta.