Карта сайта
Карта сайта- Главная
выберите подходящий лифт
подобрать лифтновости и события
18.04.2023
Приглашаем KyrgyzBuild 2023
31.03.2023
Наша команда на выставке LIFT EXPO KAZAKHSTAN 2023
Все новости
|
|
72.
19.19.000 код ОКПД 2 — расшифровка, примеры закупок и ограниченияУслуги, связанные с научными исследованиями и экспериментальными разработками в области прочих естественных наук
Главная
Классификатор ОКПД 2
M
72
72.1
72.19
72.19.1
72.19.19
72.19.19.000
Классификатор ОКПД 2
Код 72.19.19.000
Расшифровка: Услуги, связанные с научными исследованиями и экспериментальными разработками в области прочих естественных наук
Комментарии: классификатор не содержит комментариев к этому коду
Старый код: 73.10.16.990
Запись в классификаторе ОКПД 2 с кодом 72.19.19.000 не содержит уточняющих (дочерних) кодов.
Примеры закупок с позициями по ОКПД 2
72.19.19.000 «Услуги, связанные с научными исследованиями и экспериментальными разработками в области прочих естественных наук»
№0304200015618000015
1 800 000₽
открыть карточку
добавить метку
Выполнение научно-исследовательских работ по реализации мероприятий по ведению Красной книги Кабардино-Балкарской Республики в части подготовки очерков по объектам животного и растительного мира и разработки электронного варианта очерков для второго издания Красной книги Кабардино-Балкарской Республики
Найдено в документах | Выполнение научно-исследовательских работ по реализации мероприятий по ведению Красной книги Кабардино-Балкарской Республики в части подготовки очерков по объектам животного и растительного мира — 1 усл ед
ЕИС закупки | Открытый конкурс
прием заявок с 08.
06.18 до 02.07.18
Кабардино-Балкарская Респ | Респ Кабардино-Балкарская | МИНПРИРОДЫ КБР
завершена
№0160300020718000028
110 051₽
открыть карточку
добавить метку
Выполнение работ по осуществлению контроля качества за выполняемыми работами по ремонту автомобильных дорог
Найдено в документах | Выполнение работ по осуществлению контроля качества за выполняемыми работами по ремонту автомобильных дорог — 1 усл ед
Сбербанк-АСТ | Электронный аукцион
прием заявок с 08.06.18 до 16.06.18
Саратовская обл | АДМИНИСТРАЦИЯ НОВОУЗЕНСКОГО МУНИЦИПАЛЬНОГО РАЙОНА САРАТОВСКОЙ ОБЛАСТИ
завершена
№31806589071
8 000 000₽
открыть карточку
добавить метку
Выполнение научно-исследовательских работ
Найдено в документах | Услуги, связанные с научными исследованиями и экспериментальными разработками в области прочих естественных наук — 1 усл ед
ЕИС закупки | Закупка у единственного поставщика
прием заявок с 08.
06.18 до 08.06.18
Свердловская обл | обл Свердловская | ИВТЭ УРО РАН
завершена
№31806589093
14 700 000₽
открыть карточку
добавить метку
Выполнение научно-исследовательских работ
Найдено в документах | Услуги, связанные с научными исследованиями и экспериментальными разработками в области прочих естественных наук — 1 усл ед
ЕИС закупки | Закупка у единственного поставщика
прием заявок с 08.06.18 до 08.06.18
Свердловская обл | обл Свердловская | ИВТЭ УРО РАН
завершена
№31806591691
280 000₽
открыть карточку
добавить метку
Оказание услуг по проведению научно-исследовательских работ
Найдено в документах | Услуги, связанные с научными исследованиями и экспериментальными разработками в области прочих естественных наук — 1 усл ед
ЕИС закупки | Закупка у единственного поставщика
прием заявок с 09.
06.18 до 09.06.18
Томская обл | обл Томская | ФГБОУ ВО «ТОМСКИЙ ГОСУДАРСТВЕННЫЙ АРХИТЕКТУРНО-СТРОИТЕЛЬНЫЙ УНИВЕРСИТЕТ», ТОМСКИЙ ГОСУДАРСТВЕННЫЙ АРХИТЕКТУРНО-СТРОИТЕЛЬНЫЙ УНИВЕРСИТЕТ, ТГАСУ
завершена
Понимание моделей маскированного языка (MLM) и моделей каузального языка (CLM) в НЛП | by Prakhar Mishra
Языковые модели в НЛП (визуальные изображения и примеры)
Модифицированное изображение из источникаБольшинство современных систем НЛП следуют довольно стандартному подходу к обучению новых моделей для различных вариантов использования, а именно Сначала предварительная подготовка, затем точная настройка . Здесь, , цель предварительного обучения — использовать большие объемы неразмеченного текста и построить общую модель понимания языка перед точной настройкой на различные конкретные задачи НЛП, такие как машинный перевод, обобщение текста и т. д.
В этом блоге мы обсудим две популярные схемы предварительного обучения, а именно: Моделирование маскированного языка (MLM) и Моделирование каузального языка (CLM).
Нет времени читать весь блог? Затем посмотрите это короткое видео продолжительностью менее 60 секунд на YouTube —
Объяснение модели маскированного языкаПри моделировании маскированного языка мы обычно маскируем определенный % слов в данном предложении, и ожидается, что модель будет предсказать эти замаскированные слова на основе других слов в этом предложении. Такая схема обучения делает эту модель двунаправленной по своей природе , потому что представление замаскированного слова изучается на основе слов, которые встречаются как слева, так и справа . Вы также можете визуализировать это как — формулировку задачи с заполнением пробелов .
Ниже на рисунке показано то же самое —
Модель маскированного языка | Изображение автораНиже рис. показывает более подробный вид с шагом расчета потерь —
Модель маскированного языка с потерями | Изображение автора Здесь представление замаскированного слова может быть основано на внимании, как в BERT и его вариантах, или вы также можете создать его без этого.
Основываясь на распределении Alpha (веса внимания) , вы можете взвесить представление каждого другого входного слова для изучения представления замаскированного слова, например, — Alpha=1 придаст равный вес окружающим словам (значение что каждое слово будет иметь равный вклад в представление MASK).
В модели каузального языка идея снова состоит в том, чтобы предсказать замаскированный токен в заданном предложении, но, в отличие от MLM, модели разрешено только учитывать слова, которые встречаются слева от , для выполнения того же ( В идеале это может быть только левый или только правый, идея состоит в том, чтобы сделать его однонаправленным) . Такая схема обучения делает данную модель однонаправленной по своей природе .
Как вы можете видеть на рисунке ниже , ожидается, что модель предскажет токен маски, присутствующий в предложении, на основе слов, которые встречаются слева от нее.
И на основе прогноза, сделанного моделью по фактической метке, мы вычисляем кросс-энтропийную потерю и применяем ее обратное распространение для обучения параметров модели.
Ниже рис. показывает более подробное представление с шагом расчета потерь —
Каузальная языковая модель с потерями | Изображение автораЗдесь снова представление замаскированного слова может быть основано на внимании, как в GPT и его вариантах, или вы также можете создать его без этого, как мы использовали его во времена LSTM. Основываясь на распределении Alpha (см. рисунок) , вы можете взвесить представление каждого другого входного слова для изучения представления MASKed слова, 9Например, 0008 — Alpha=1 придаст равный вес окружающим словам (это означает, что каждое слово будет иметь равный вклад в изученное представление MASK).
Эти системы также называются моделями только для декодера, потому что в типичной архитектуре кодер-декодер, такой как машинный перевод, суммирование текста и т.
д., декодер (генератор текста) работает аналогично.
Потеря MLM предпочтительнее, когда цель состоит в том, чтобы изучить хорошее представление входного документа , тогда как CLM в основном предпочтительнее, когда мы хотим изучить систему, которая генерирует беглый текст . Кроме того, интуитивно это имеет смысл, потому что, изучая хорошее входное представление для каждого слова, вы хотели бы знать слова, которые встречаются в нем как слева, так и справа, тогда как, когда вы хотите изучить систему, которая генерирует текст, вы можете видеть только то, что все, что вы сгенерировали до сих пор (так же, как люди пишут) . Таким образом, создание системы, которая могла бы заглянуть и на другую сторону при генерации текста, может привести к предвзятости, ограничивающей творческие способности модели.
Хотя при обучении всей архитектуры, имеющей как кодировщик, так и декодер, вы часто обнаружите потери как MLM, так и CLM.
Оба имеют свои преимущества и ограничения, новая модель под названием XLNet использует метод перестановки, чтобы использовать лучшее из обоих миров (MLM и CLM).
Надеюсь, вам понравилось это читать. Если вы хотите поддержать меня как писателя, рассмотрите возможность регистрации, чтобы стать участником Medium. Всего 5 долларов в месяц, и вы получаете неограниченный доступ к Medium 9.0005
Надеюсь, вам понравилось читать блог. Спасибо!
Тонкая настройка модели кодировщика-декодера RoBERTa, обученной MLM для генерации текста | Эдуардо Муньос | Аналитика Vidhya
Часть 2 модели для генерации имен из описаний продуктов
Фото Ксавьера фон Эрлаха на Unsplash Как я упоминал в своем предыдущем посте, в течение нескольких недель я изучал различные модели и альтернативы в Huggingface для обучения генерации текста модель. У нас есть шорт-лист продуктов с их описанием, и наша цель — получить название продукта. Наконец, чтобы углубить использование преобразователей Huggingface, я решил подойти к проблеме с другим подходом, моделью кодер-декодер.
Возможно, это был не лучший вариант, но мне хотелось узнать что-то новое о Huggingface Transformers.
Во-первых, я должен признать, что проблема генерации текста обычно не решается с помощью такого решения с использованием моделей кодировщиков, таких как BERT или RoBERTa. Но в этой задаче мы не собираемся генерировать «свободный текст», поэтому мы можем упростить нашу задачу. Мы ищем подмножество слов из описания продукта, чтобы составить название продукта, и наш полный словарь присутствует во входных данных. С этой точки зрения мы можем закодировать описание продукта в векторное представление и декодировать его в текстовое имя. Поэтому использование кодера-декодера представлено как вариант для оценки.
Наша задача может быть представлена как задача последовательностей, где нам нужно найти отображение входной последовательности (описание продукта) на выходную последовательность (название продукта). В сообщении блога Huggingface «Использование предварительно обученных контрольных точек языковой модели для моделей кодировщика-декодера» вы можете найти подробное объяснение и эксперименты по созданию многих моделей кодировщика-декодера с использованием модели преобразователей BERT или GTP2.
Я настоятельно рекомендую вам прочитать его.
В предыдущем посте на Medium мы создали собственный токенизатор и обучили модель RoBERTa: «Создайте токенизатор и обучите модель RoBERTa Huggingface с нуля». Теперь мы будем использовать эту обученную модель для построения модели кодировщика-декодера и точно настроим эту новую модель в нашем наборе данных. Мы опишем только самые интересные участки кода, полный код вы можете найти в моем репозитории на Github.
Как мы упоминали в своем посте, наш набор данных содержит около 31 000 элементов одежды от крупного ритейлера, включая подробное описание продукта и короткое название продукта, нашу целевую переменную. Во-первых, мы выполняем исследовательский анализ данных и можем заметить, что количество строк со значениями выбросов является небольшим числом. Это частный набор данных, поэтому мы не можем сделать его общедоступным.
Во многих решениях для машинного обучения мы можем найти архитектуры, в которых первая часть DNN создает векторное представление входных данных, а вторая половина принимает этот вектор и входные данные и генерирует ожидаемый результат.
По сути, это модель кодер-декодер, и с RNN они становятся очень мощным инструментом для решения задач НЛП.
«По аналогии с моделями кодировщика-декодера на основе RNN, модели кодера-декодера на основе преобразователя состоят из кодера и декодера, которые оба являются стеками из блоков остаточного внимания . Ключевое новшество моделей кодера-декодера на основе преобразователя заключается в том, что такие блоки остаточного внимания могут обрабатывать входную последовательность переменной длины, не демонстрируя повторяющуюся структуру. Отсутствие опоры на рекуррентную структуру позволяет кодерам-декодерам на основе преобразователей быть высоко параллелизуемыми,…» [2] «Модели кодировщика-декодера на основе преобразователей»
Целью этой архитектуры является поиск функции отображения между входной последовательностью и целевой выходной последовательностью. В случае преобразователей кодировщик кодирует входную последовательность в последовательность скрытых состояний, затем декодер берет целевую последовательность и закодированные скрытые состояния для моделирования или изучения функции отображения.
Но кодировщик работает только на первом шаге, на следующих шагах декодер получает следующий целевой токен и повторно использует скрытые состояния от кодировщика, созданные на шаге 1. Подробное объяснение можно найти в упомянутом посте [2] «Трансформеры- на основе моделей Encoder-Decoder».
Имея в виду эту идею, мы можем рассматривать модель кодер-декодер как модель только кодера, такую как BERT, и модель только декодера, такую как GPT-2, обе объединены для создания целевой последовательности. На данный момент у нас есть много предварительно обученных моделей, доступных в концентраторе моделей Huggingface, поэтому первый вариант для оценки — использовать эти предварительно обученные модели для создания нашего кодировщика-декодера и тонкой настройки его для нашей конкретной задачи.
В сообщении «Использование предварительно обученных контрольных точек языковой модели для моделей кодировщика-декодера» [1] объясняются и оцениваются многие комбинации, но в целом вам необходимо рассмотреть, как инициализировать модели:
- Инициализировать кодировщик и декодер только из предварительно обученного кодировщика
- Инициализировать кодер из контрольной точки только для кодировщика и декодер только из декодера
- Инициализировать только кодер или только декодер из предварительно обученного кодера или модель только для декодера
- Совместно или без использования весов энкодера с декодером
- какая модель трансформатора используется в энкодере и декодере, это может быть модель BERT, GPT-2 или RoBERTa.
В нашем эксперименте мы попробуем стратегию RoBERTaShared , в которой и кодировщик, и декодер основаны на RoBERTa и имеют общие веса. Эта комбинация показала отличные результаты во многих задачах.
Photo by Danist Soh на UnsplashЗагрузите обученный токенизатор на наш конкретный язык
Как мы упоминали ранее, мы обучили токенизатор и модель RoBERTa с нуля, используя технику моделирования маскированного языка, пытаясь сфокусировать нашу модель на нашей конкретной задаче. Теперь мы можем настроить наш кодер-декодер, используя эту предварительно обученную модель.
Позвольте мне показать вам, какие библиотеки мы будем импортировать для этого проекта.
Первым шагом является загрузка токенизатора, который нам нужно применить для создания наших входных и целевых токенов и преобразования их в векторное представление текстовых данных.
Подготовьте и создайте набор данных
На следующем шаге нам нужно сгенерировать набор данных для обучения нашей модели.
Используя загруженный токенизатор, мы размечаем текстовые данные, применяем метод заполнения и усекаем входные и выходные последовательности. Помните, что мы можем определить максимальную длину для входных данных и другую длину для выходных. Наконец, мы определяем размер пакета, чтобы разделить набор данных на пакеты для обучения и оценки.
RoBERTa — это вариант модели BERT, поэтому ожидаемые входные данные аналогичны: input_ids и Attention_mask . Но у RoBERTa нет параметра token_type_ids , как у BERT, это не имеет смысла, потому что это не было обучением предсказанию следующего предложения, поэтому вам не нужно указывать, какой токен к какому сегменту относится. Просто разделите сегменты с помощью токена разделения tokenizer.sep_token (или ).
Создание модели кодировщика-декодера RoBERTa
Мы строим нашу модель на основе предварительно обученной модели, которую мы построили в части 1 этой серии, благодаря библиотекам и оболочкам Hugginface создать модель очень просто.
Нам просто нужно вызвать метод from_encoder_decoder_pretrained из класса EncoderDecoderModel библиотеки преобразователей Hugginface. Мы устанавливаем предварительно обученную модель кодировщика и декодера, передавая папку, в которой мы сохранили нашу обученную модель RoBERTa, и указываем, что мы хотим «привязать» веса обеих моделей, чтобы они делили свои веса.
После построения модели нам нужно указать ряд параметров, таких как специальные токены, начало предложения или bos и конец предложения или eos.
Очень важные параметры для объявления относятся к стратегии декодирования . Любой текстовый генератор должен определить, как следующий вывод или токен выбирается из всех доступных возможностей . Этот тип архитектуры пытается смоделировать вероятность следующего токена с учетом последовательности предыдущих токенов. На этом этапе мы генерируем вероятности того, что токены будут следующими, и нам нужен метод для выбора одного из них.
Стратегии декодирования
Мы не собираемся анализировать все возможности, но мы хотим упомянуть некоторые альтернативы, которые предоставляет библиотека Huggingface.
Наше первое и наиболее интуитивное приближение — это поиск Greddy , где на каждом этапе мы берем слово с наибольшей вероятностью в нашем словаре. К сожалению, эта стратегия имеет тенденцию создавать шаблоны и повторяться в циклических зависимостях. Это может быть очень детерминированный метод, и это не то, чем должен быть текстовый генератор. И эта стратегия создает проблему высоковероятностной лексемы, «прячущейся за» низковероятностной лексемой, которая предшествует ей в порядке предложения. И мы можем застрять в неоптимальном решении.
Другим подходом, который пытается свести к минимуму эту проблему, является поиск луча , который поддерживает несколько возможных путей или последовательностей для аппроксимации решения. Из этого пучка результатов применяется жадный поиск, позволяющий нам детерминистически аппроксимировать наиболее вероятную последовательность слов.
Это не очень творческая процедура, но она отлично подходит для задач перевода, перевод предложений между языками не требует большого творческого подхода. Если мы хотим создать историю или диалог, нам нужно «исследовать» альтернативы и уменьшить детерминизм.
Методы выборки — это способ ввести случайный выбор в наш процесс генерации текста. Но, используя случайную выборку, мы не можем контролировать, как производится вывод, и «управляемая» выборка является лучшим подходом. «Простая, но очень мощная схема выборки, называемая выборкой Top-K. При выборке Top-K отфильтровываются K наиболее вероятных следующих слов, и вероятностная масса перераспределяется только между этими K следующими словами », [3] ». Это ограничивает процесс генерации выбором слов, которые сама модель считает более разумными в контексте ».
На этапе обучения мы применяем стратегию поиска луча с использованием 10 лучей и штрафуем повторные n-граммы и длинные выходные данные.
Компонент Trainer библиотеки Huggingface будет обучать нашу новую модель очень простым способом, всего несколькими строками кода. Trainer API предоставляет все возможности, необходимые для обучения практически любой модели трансформатора, и нам вообще не нужно кодировать обучающие циклы.
При обучении модели машинного обучения нам нужна оценочная метрика, мы выбрали Показатель Rouge Score , который используется для оценки задачи перевода и суммирования. Мы фокусируем нашу проблему как обобщение, от описания продукта до названия. Эта метрика кажется правильным выбором, но могут быть и другие интересные альтернативы.
Библиотека наборов данных предоставляет нам эту метрику, поэтому мы загружаем ее и определяем метод calculate_metrics , в котором мы вычисляем метрику для целевого текста, описания продукта и прогнозируемого текста.
Теперь пришло время задать аргументы обучения: размер партии, периоды обучения, сохранить модель и т.
Seq2SeqTrainer , подкласса объекта Trainer , о котором мы упоминали, выбрав модель для обучения, аргументы обучения, вычисление метрик, поезд и наборы данных для оценки.И мы готовы обучить нашу модель энкодер-декодер всего за несколько эпох, наконец-то мы сохраняем доработанную модель энкодера-декодера.
После того, как мы обучим нашу модель, мы можем использовать ее для генерации имен для наших продуктов и проверки результатов нашего процесса тонкой настройки для нашей целевой задачи.
Мы загружаем тестовый набор данных без меток и удаляем строки, содержащие нулевые значения.
Затем мы загружаем Tokenizer и доработанную модель из сохраненной версии.Чтобы улучшить результаты, мы определим два метода генерации текста, используя стратегию декодирования поиска Beam и случайную выборку, и мы применим оба из них и сравним результаты.
Теперь мы можем делать прогнозы для тестового набора данных, используя стратегию поиска Beam и метод выборки Top-k.