Tijdens de digitale versie van de GPU Technology Conference maakte NVIDIA-CEO Jensen Huang gisteren bekend dat NVIDIA AI de grammaticasuggesties van Microsoft Word gaat verwerken op basis van Micorosft Azure Machine Learning.
Microsoft zet steeds vaker AI in bij het ontwikkelen van zijn cloudgebaseerde Office-productiviteitsapps. Nieuwe tijdbesparende toevoegingen zijn onder meer real time grammaticasuggesties, het beantwoorden van vragen in documenten en voorspellende tekst om zinnen te helpen voltooien.
Context
Dergelijke productiviteitsverhogende toepassingen zijn alleen mogelijk door deep learning en neurale netwerken in te zetten. In tegenstelling tot services die zijn gebouwd op traditionele, op regels gebaseerde logica, kan Editor in Word voor het web, als het gaat om het corrigeren van grammatica, de context van een zin begrijpen en de juiste woordkeuzes voorstellen.
Parameters
Deze deep learning-modellen, die honderden miljoenen parameters kunnen omvatten, moeten schaalbaar zijn en realtime inferentie bieden voor een optimale gebruikerservaring. Het AI-model van Microsoft Editor voor grammaticacontrole in Word op het web zal naar verwachting meer dan 500 miljard zoekopdrachten per jaar verwerken.
Kosten
Inzet op deze schaal kan de kosten voor deep learning fors verhogen. Maar dynamische batching en gelijktijdige modeluitvoering van NVIDIA Triton , toegankelijk via Azure Machine Learning, heeft die kosten juist met ongeveer 70 procent verlaagd en een doorvoer van 450 queries per seconde bereikt op één enkele NVIDIA V100 Tensor Core GPU, met een respons van minder dan 200 milliseconden tijd. Azure Machine Learning bood de vereiste schaal en mogelijkheden om de levenscyclus van het model te beheren, zoals versiebeheer en bewaking.
