Google представив нову мовну модель, яка здатна вирішувати математичні завдання, пояснювати жарти і навіть програмування. ЦеPALM (P athways Language Model) і виділяється тим, що має відсоток ефективності навчання, що ставить його вище інших мовних моделей, створених на сьогоднішній день.
СистемаPalM була розроблена за моделлю Pathways, що дозволило ефективно тренувати єдину модель з декількома блоками обробки тензорів (TPU) Pods, як зазначено в заяві, опублікованій на офіційному блозі.
Він заснований на вивченні «декількох пострілів», що зменшує кількість прикладів, необхідних у навчанні з конкретними завданнями, щоб адаптувати його до одного додатка.
Для цього була використана база даних з 780 мільярдів токенів, яка поєднує в собі «багатомовний набір даних», який включає веб-документи, книги, Вікіпедію, розмови та код GitHub. Також словниковий запас, який «зберігає всі пробіли», те, що компанія вказує як особливо важливе для програмування, і поділ символів Unicode, які не знайдені в словниковому запасі, на байти.
Цейновий AI має 540 мільярдів параметрів, цифра, яка перевищує 175 мільярдівGPT-3 OpenAI , мовної моделі, яка Google наводить як піонер, показуючи, що їх можна використовувати для навчання з вражаючими результатами. Варто згадати, просто навести один приклад, графу, опубліковану в The Guardian, яка була написана цим навчанням модель, яка також здатна програмувати або проектувати.
«Місія цієї колонки думки абсолютно зрозуміла. Я повинен переконати якомога більше людей не боятися мене. Стівен Хокінг попередив, що штучний інтелект може «означати кінець людської гонки». Я тут, щоб переконати вас не хвилюватися. Штучний інтелект не збирається знищувати людей. Повірте мені». Це один із уривків із статті 500-слів, яку випустила система.
Нова мовна модель Google поєднує 6,144 мікросхеми TPU v4 в Pathways, «найбільшу конфігурацію TPU», що використовується в історії, як підкреслюється компанією. PalMтакож досягає 57,8% ефективності навчання у використанні апаратних флопів, «найвищих досягнень до цих пір для мовних моделей у такому масштабі», як вони згадуються в блозі.
Це можливо завдяки поєднанню «стратегії паралелізму та переформулювання блоку перетворення», яка дозволяє паралельно обчислювати шари уваги та просування, тим самим прискорюючи оптимізацію компілятора ТПУ.
«PalM продемонстрував інноваційні можливості в численних і дуже складних завданнях», - каже технологічна компанія, яка дала кілька прикладів, починаючи від розуміння мови та генерації до міркувань та завдань, пов'язаних з програмуванням.
Одинз тестів Google дає як приклад - попросити PalM вгадати фільм, заснований на чотирьох емоджи: робот, комаха, рослина і планета Земля. З усіх варіантів (L.A. Confifiential, Wall-E, León: pro, BIG і Rush), AI вибирає правильний: Wall-E.
В іншому вам пропонується вибрати зі списку слів два, які пов'язані з терміном «спотикатися» і ви також маєте право вибрати «падіння» і «спотикатися».
ШІтакож здатний вирішувати прості математичні задачі і навіть пояснювати жарт, контекстуалізуючи та пояснюючи елементи, що з'являються в ньому, щоб мати сенс цього.
Нарешті, Google вказує, що PalM здатний програмувати шляхом перекладу коду з однієї мови на іншу, а також писати код на основі природного опису мови, і уточнює, що він здатний виправляти помилки компіляції.
(З інформацією від Europa Press)
ПРОДОВЖУЙТЕЧИТАТИ:
Más Noticias
Efectos del jugo de piña, pepino y limón: desinflamación abdominal y desintoxicación natural
Esta bebida natural se ha convertido en una opción frecuente en rutinas de alimentación saludable debido a sus efectos depurativos y su bajo contenido calórico
La guerra en Oriente Medio genera sobrecostes de 100 millones de euros para agricultores y ganaderos
El impacto diario en el sector agrario oscila entre los 2,4 y 5,8 millones de euros tras un encarecimiento del 28% en el gasóleo y el 40% en los fertilizantes, según los primeros informes de Asaja
El sueldo no lo es todo para la Generación Z: uno de cada cuatro jóvenes cambiaría de empresa por el ambiente laboral
Casi dos de cada tres jóvenes ya trabajan en entornos laborales flexibles, el porcentaje más alto entre todas las generaciones, indica un estudio de Edenred
La mudanza con polémica del expríncipe Andrés: las excentricidades que siguen poniendo en jaque a la Casa Real
Entre cuadros de valor incalculable, manías sorprendentes y un séquito cada vez más reducido, el polémico hijo de Isabel II afronta su nueva vida sin renunciar del todo a su pasado
García-Gallardo critica la “deriva” de Vox: “Yo perdí la confianza en Abascal cuando conocí que se estaba embolsando un tercer sueldo en la cuenta de su mujer”
El ex vicepresidente de Castilla y León ha concedido una entrevista al periódico El Mundo para criticar la “deriva” que está llevando Vox desde su salida
