Вообще Рытьё окопов это просто военная подготовка. Сейчас в Китае вообще в каждом вузе есть такая программа это нормально. В армии вы будете делать это бесплатно
Стас, на 33:35 ты говоришь, что нужно перевести с русского на английский потому что модели "думают" на английском - Это не верно. Я работаю в области больших языковых моделей и мы эти модельки разрабатываем/тренируем. Вот в чем вся суть:
Модели могут рассуждать на любом языке 2) У модели есть такая часть, которая называется токенизатор, она переводит текст на любом языке в набор токенов (набор цифр) - и этот набор цифр обучаем
В самом начале, когда модель обучают, собирают корпуса текстов - их разбивают побайтово и самые популярные добавляют в этот токенизатор, но так как его размер ограничен - туда попадают в бОльшей степени английские токены - так как они больше раз встречаются в корпусах текстов
Можно, обучая модель на корпусах текстов из русского и английского в соотношении 50/50 например получить более плотный токенизатор - и модель будет одинаково тратить токенов как на русском так и на английском - вот статья https://habr.com/ru/companies/tbank/articles/928956/
Ну и плюс не стоит забывать, что сам по себе русский текст длиннее английского, так как и размер слов больше статистически из-за падежей, приставок и склонений. Из-за этого так как модели нужно генерировать больше токенов и сама генерация ДОЛЬШЕ. Поэтому для локальных моделей на русском языке лучше делать различные тюнинги, чтобы получать ответы быстрее и дешевле) Как-то так.
P.S. Есть статьи, которые подтверждают, что если ты с моделью общаешься на плохом английском, она работает хуже (по разным способам оценки), чем если общаться с ней на другом языке, но грамотно - ЗАБАВНО.
Сука! В рунете есть блогеры, которых можно смотреть без справочника и энциклопедии? Теперь и Гео придётся смотреть с мыслями пиздит или нет и проверять каждый факт
Всегда можно пересмотреть что-то старое.
Вообще Рытьё окопов это просто военная подготовка. Сейчас в Китае вообще в каждом вузе есть такая программа это нормально. В армии вы будете делать это бесплатно
Стас, на 33:35 ты говоришь, что нужно перевести с русского на английский потому что модели "думают" на английском - Это не верно. Я работаю в области больших языковых моделей и мы эти модельки разрабатываем/тренируем. Вот в чем вся суть:
2) У модели есть такая часть, которая называется токенизатор, она переводит текст на любом языке в набор токенов (набор цифр) - и этот набор цифр обучаем
Ну и плюс не стоит забывать, что сам по себе русский текст длиннее английского, так как и размер слов больше статистически из-за падежей, приставок и склонений. Из-за этого так как модели нужно генерировать больше токенов и сама генерация ДОЛЬШЕ. Поэтому для локальных моделей на русском языке лучше делать различные тюнинги, чтобы получать ответы быстрее и дешевле) Как-то так.
P.S. Есть статьи, которые подтверждают, что если ты с моделью общаешься на плохом английском, она работает хуже (по разным способам оценки), чем если общаться с ней на другом языке, но грамотно - ЗАБАВНО.
демки в конце зачёт, новая песня для вепри тоже норм
Сука! В рунете есть блогеры, которых можно смотреть без справочника и энциклопедии? Теперь и Гео придётся смотреть с мыслями пиздит или нет и проверять каждый факт