Logo bg.nowadaytechnol.com

Три нови многоезични модула USE идват към TensorFlow

Съдържание:

Три нови многоезични модула USE идват към TensorFlow
Три нови многоезични модула USE идват към TensorFlow

Видео: Три нови многоезични модула USE идват към TensorFlow

Видео: Три нови многоезични модула USE идват към TensorFlow
Видео: Три женских качества, в которые влюбляются мужчины - Это они ценят больше всего 2024, Март
Anonim
Image
Image

Google е един от пионерите в изследванията на изкуствения интелект и множество техни проекти продължават да въртят главите си. AlphaZero от Google DeepMind Екипът беше пробив в изследванията на ИИ, поради способността на програмата да научи сложни игри сам (без човешко обучение и намеса). Google също свърши отлична работа в Програми за обработка на естествен език (NLP), което е една от причините за ефективността на Google Assistant в разбирането и обработката на човешката реч.

Google наскоро обяви пускането на три нови ИЗПОЛЗВАЙТЕ многоезични модули и осигуряват повече многоезични модели за извличане на семантично подобен текст.

Първите два модула предоставят многоезични модели за извличане на семантично подобен текст, единият оптимизиран за производителност на извличане, а другият за скорост и по-малко използване на паметта. Третият модел е специализиран за извличане на отговори на въпроси на шестнадесет езика (USE-QA) и представлява изцяло ново приложение на USE. И трите многоезични модула се обучават с помощта на многозадачна рамка с двоен кодер, подобна на оригиналния модел на USE за английски език, като същевременно се използват техники, разработени от нас за подобряване на двойния кодер с добавен мардж softmax подход. Те са предназначени не само за поддържане на добри резултати от обучението по трансфер, но и за изпълнение на n n семантични задачи за извличане.

Езиковата обработка в системите е изминала дълъг път, от разбор на основно синтаксисно дърво до големи векторни модели за асоцииране. Разбирането на контекста в текста е един от най-големите проблеми в полето на NLP и Universal Sentence Encoder решава това чрез преобразуване на текст във високоразмерни вектори, което улеснява класирането и денотирането на текста.

Image
Image

Според Google „ Трите нови модула са изградени върху семантична архитектура за извличане, която обикновено разделя кодирането на въпроси и отговори на отделни невронни мрежи, което дава възможност за търсене сред милиарди потенциални отговори в рамките на милисекунди. С други думи, това помага за по-доброто индексиране на данните.

И трите многоезични модула се обучават с помощта на многозадачна рамка с двоен кодер, подобна на оригиналния модел на USE за английски език, като същевременно се използват техники, които разработихме за подобряване на двойния кодер с подхода на добавения марж softmax. Те са предназначени не само за поддържане на добри резултати от обучението по трансфер, но и за изпълнение на n n семантични задачи за извличане. Функцията Softmax често се използва за спестяване на изчислителна мощност чрез степенуване на вектори и след това разделяне на всеки елемент на сумата от експоненциалното.

Семантична архитектура за извличане

„Трите нови модула са изградени върху семантични архитектури за извличане, които обикновено разделят кодирането на въпроси и отговори в отделни невронни мрежи, което дава възможност за търсене сред милиарди потенциални отговори в рамките на милисекунди. Ключът към използването на двойни кодери за ефективно семантично извличане е предварително кодиране на всички отговори на кандидатите на очакваните входни заявки и съхраняването им във векторна база данни, която е оптимизирана за решаване на проблема с най-близкия съсед, което позволява бързото търсене на голям брой кандидати с добро прецизност и изземване."

Можете да изтеглите тези модули от TensorFlow Hub. За по-нататъшно четене вижте пълния блог на GoogleAI.

Препоръчано: