V novembri 2016, Microsoft priniesol výhodu AI-poháňal strojový preklad, aka neurónové strojový preklad (NMT), aby vývojári a koncoví užívatelia podobne. minulý týždeň Microsoft priniesol NMT schopnosti na okraji cloudu pomocou NPU, je procesor venovaný UMELEJ inteligencie integrovaný do Kamarát 10, Huawei najnovšie vlajkovou loďou telefón. Nový čip robí AI-Powered preklady sú k dispozícii na zariadení aj pri absencii prístupu k internetu, čo umožňuje systému vytvárať preklady, ktorých kvalita je na par s on-line systému.

Na dosiahnutie tohto prielom, výskumníci a inžinieri od Microsoftu a Huawei spolupracoval pri prispôsobovaní neurálnej prekladu do tohto nového výpočtového prostredia.

Najpokročilejšie systémy NMT, ktoré sú v súčasnosti vo výrobe (t. j. používané v meradle v cloude podnikmi a aplikáciami), používajú architektúru neurálnej siete kombinujúci viaceré vrstvy Siete LSTM, algoritmus pozornosti a preklad (dekodér) vrstvu.

Animácia nižšie vysvetľuje, zjednodušeným spôsobom, ako to Multi-vrstva neurónové sieťové funkcie. Pre viac informácií, prosím, pozrite sa na "čo je to strojový preklad stránky"na stránke Microsoft Translator.

V tomto cloud NMT implementácie, tieto stredné LSTM vrstvy spotrebúvajú veľkú časť výpočtového výkonu. Aby bolo možné spustiť plnú NMT na mobilnom zariadení, bolo potrebné nájsť mechanizmus, ktorý by mohol znížiť tieto výpočtové náklady pri zachovaní, čo najviac, kvalitu prekladu.

To je miesto, kde Huawei je neurónové spracovanie Unit (NPU) vstúpi do hry.  Microsoft výskumníci a inžinieri využili NPU, ktorý je špeciálne navrhnutý tak, aby vyniknúť pri nízkej-latencia AI výpočty, na Offload operácií, ktoré by boli neprijateľne pomalé spracovanie na hlavnom CPU.

Vykonávanie

Implementácia je teraz k dispozícii v aplikácii Microsoft Translator pre Huawei mate 10 optimalizuje preklad tým, že vyrovnaním najviac výpočtových úloh na NPU.

Konkrétne, Táto implementácia nahrádza tieto stredné LSTM siete vrstiev hlboké fneurónové-Forward neurónové siete. Hlboké krmivo-vpred neurónové siete sú mocné, ale vyžadujú veľmi veľké množstvo výpočtov kvôli vysokej konektivity medzi neurónmi.

Neurónové siete spoliehať predovšetkým na matice násobenie, operácia, ktorá nie je zložitá z matematického hľadiska, ale veľmi drahé, keď vykonáva v rozsahu požadovanej pre takéto hlboké neurónové siete. Huawei NPU vyniká pri vykonávaní týchto matice násobenie v masívne paralelné módy. To je tiež veľmi efektívna z hľadiska využitia energie, dôležitá kvalita na batériové zariadenia.

Na každej vrstve tejto krmivo-vpred siete, NPU počíta ako surový neurónu výstup a následné Funkcia aktivácie ReLu efektívne a s veľmi nízkou latenciou. Využitím dostatok vysokorýchlostné pamäte na NPU, vykonáva tieto výpočty paralelne bez nutnosti platiť náklady na prenos dát (tj spomalenie výkonu) medzi CPU a NPU.

Akonáhle je konečná vrstva tejto hlbokej krmivo-vpred sieť je vypočítaná, systém má bohaté zastúpenie v zdrojovom jazyku vety. Toto zastúpenie sa potom privádza cez ľavý-k-pravý LSTM "dekodér" produkovať každý cieľový jazyk slovo, s rovnakou pozornosťou algoritmus používaný v on-line verziu NMT.

Ako Anthony Aue, hlavný Software Development Engineer v tíme Microsoft Translator vysvetľuje: "pričom systém, ktorý beží na výkonné cloudové servery v dátovom centre a beží to bezo zmeny na mobilnom telefóne nie je životaschopná možnosť. Mobilné zariadenia majú obmedzenia výpočtového výkonu, pamäte a spotreby energie, ktoré cloudové riešenia nemajú. Mať prístup k NPU, spolu s niektorými ďalšími architektonických vylepšení, nám umožnilo pracovať okolo mnohých z týchto obmedzení a navrhnúť systém, ktorý môže bežať rýchlo a efektívne on-Device bez toho, aby museli ohroziť kvalitu prekladu."

Implementácia týchto prekladateľských modelov na inovatívnej čipovej súprave NPU umožnila spoločnosti Microsoft a Huawei dodávať neurálny preklad na zariadení v kvalite porovnateľnej s cloudovými systémami, aj keď ste mimo siete.