12 Октября 2020

Что нужно знать о самой мощной языковой модели в мире?

Некоммерческая исследовательская компания OpenAl (Сан-Франциско), одним из основателем которой является небезызвестный Илон Маск, представила нейросеть GPT-3 (Generative Pre-trained Transformer 3). По данным разработчиков, алгоритм способен работать в программе Еxcel,  графическом редакторе, составлять резюме и даже писать стихи. В компании отмечают, что нейросеть находится только в начале пути своего развития.

GPT-3 – это продолжение более ранних версий GPT и GPT-2, представленных в 2018 и 2019 годах. В GPT-3 используется 175 млрд различных параметров машинного обучения (к примеру, в GPT-2 – только 1,5 млрд); алгоритм тестировали на огромном массиве данных – 570 ГБ текста, включая свободную базу Common Crawl, интернет-энциклопедию «Википедия», а также полные тексты книг и газет. Все эти данные свидетельствуют о том, что новая языковая модель способна на основании небольшого количества примеров соответствующего текста составить отчет, написать стих, побеседовать с пользователем лендинговой страницы на профессиональные темы, а также написать коды для обучения уже существующих алгоритмов.

В настоящий момент модель GPT-3 представлена в закрытой версии тестирования. Такое решение было принято разработчиками во избежание злоупотребления программой со стороны недобросовестных пользователей.

«Мы ограничили доступ желающих протестировать алгоритм, чтобы пресечь противоправные действия, включая преследование в сети, оказание психологического давления, распространение спама, фейковых новостей и прочего», – заявил представитель компании OpenAl.

Безусловно, новость о появлении самой мощной языковой модели в мире вызвала «взрыв» комментариев интернет-пользователей, однако общественность разошлась во мнениях. С одной стороны, специалисты предсказывают, что GPT-3 скоро вытеснит многие профессии, с другой – разочарованные экспериментаторы отметили несовершенство алгоритма.

Эксперты говорят, что нейросеть GPT-3 не способна анализировать предоставляемые данные, а лишь, подставляя наиболее вероятные слова, может качественно смоделировать текст. В этой связи говорить о значительном влиянии GPT-3 на переводческую отрасль преждевременно. Наличие большого количества слоев нейронной сети у алгоритма не сможет решить основные проблемы программ машинного перевода, с которыми сейчас сталкивается индустрия; хотя, определенно, интересно будет увидеть перевод GPT-3.

Источник: Slator – language industry intelligence: https://slator.com/technology/gpt-3-what-you-need-to-know-about-the-worlds-largest-language-model/

Что нужно знать о самой мощной языковой модели в мире?