F3RM (Feature Fields for Robotic Manipulation)

Продукт
Разработчики: Массачусетский технологический институт (MIT)
Дата премьеры системы: ноябрь 2023 г.
Отрасли: Электротехника и микроэлектроника
Технологии: Речевые технологии,  Робототехника,  Роботы Промышленные,  Роботы Сервисные

2023: Анонс продукта

2 ноября 2023 года ученые из MIT рассказали о новом методе обучения роботов с помощью искусственного интеллекта. Он получил название Feature Fields for Robotic Manipulation.

Исследователи рассказывают о принципе работы метода, сравнивая его с человеком, который приехал в гости к знакомому в другую страну. Утром человек пытается сделать завтрак и открывает для этого холодильник. Изначально большинство элементов кажутся ему непонятными из-за незнакомой упаковки. Несмотря на визуальные различия со знакомыми элементами, человек постепенно разбирается, что зачем используется.

Ученые MIT рассказали о новом методе обучения роботов

Такая гипотетическая ситуация вдохновила ученых на создание модели Feature Fields for Robotic Manipulation (F3RM). Данная система превращает 2D изображения основных моделей, на котором обучается ИИ, в 3D модели, чтобы роботу было проще индентифицировать и взаимодействовать с окружающими его предметами. F3RM может понимать открытые языковые инструкции, что помогает им в реальной обстановке, где вокруг них тысячи объектов.

«
Создание роботов, которые действительно умеют обобщать, находясь в реальных условиях – это очень сложная задача. Мы пытаемся понять, как это можно сделать, и поэтому пытаемся выйти на новый уровень обобщения, от трех-четырех объектов до всего, что мы можем найти в нашем исследовательском центре - прокомментировал разработку Дже Янг, один из авторов исследования.
»

Благодаря F3RM роботы получают возможность интерпретировать открытые текстовые инструкции используя естественный язык. В результате этого, машины могут понимать менее специализированные запросы людей и выполнять эти задания. Например, пользователь может попросить «поднять высокую чашку», и робот найдет и поднимет предмет, подходящий под описание.[1]

Примечания



Подрядчики-лидеры по количеству проектов

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Promobot (Промобот) (31)
  Cognitive Pilot (Когнитив Роботикс) (14)
  Яндекс (Yandex) (14)
  Nvidia (Нвидиа) (11)
  Сбербанк (11)
  Другие (524)

  Mains Lab (Мэйнс Лаборатория) (2)
  Яндекс (Yandex) (2)
  Московский центр инновационных технологий в здравоохранении Медтех (2)
  НТР, НТР Томск (NTR Lab) (1)
  АББ Россия (ABB) (1)
  Другие (45)

  Департамент информационных технологий Москвы (ДИТ) (2)
  Fora Robotics (Фора Роботикс) (2)
  Яндекс (Yandex) (2)
  Инфосистемы Джет (2)
  Яндекс.Облако (Yandex Cloud) (2)
  Другие (46)

  Наносемантика (Nanosemantics Lab) (2)
  Сбер Бизнес Софт (2)
  Синимекс (Cinimex) (2)
  Геоскан (Geoscan) (2)
  Университет Иннополис (2)
  Другие (59)

  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (2)
  Сбербанк (1)
  Ситроникс (Sitronics) (1)
  Цифровые технологии и платформы (ЦТиП) (1)
  Другие (4)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Promobot (Промобот) (10, 32)
  ABB Group (8, 23)
  Cognitive Pilot (Когнитив Роботикс) (3, 21)
  Cognitive Technologies (Когнитивные технологии) (1, 21)
  Яндекс (Yandex) (2, 11)
  Другие (606, 146)

  Транспорт будущего (2, 1)
  Бирюч-НТ Инновационный Центр (2, 1)
  Эфко ГК (2, 1)
  Cognitive Technologies (Когнитивные технологии) (1, 1)
  Promobot (Промобот) (1, 1)
  Другие (13, 13)

  Fora Robotics (Фора Роботикс) (1, 2)
  Intuitive Surgical (1, 1)
  НИТУ МИСиС (Национальный исследовательский технологический университет) (1, 1)
  Яндекс (Yandex) (1, 1)
  Aripix Robotics (Арипикс Роботикс) (1, 1)
  Другие (5, 5)

  Яндекс (Yandex) (1, 2)
  Pudu Robotics (Pudu Technology) (1, 2)
  Геоскан (Geoscan) (1, 1)
  Unitree Robotics (1, 1)
  КиберСклад (1, 1)
  Другие (2, 2)

Данные не найдены

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Promobot - 26
  Cognitive Agro Pilot Система автоматического вождения - 21
  ABB IRB Промышленные роботы - 19
  Da Vinci (робот-хирург) - 11
  Nvidia Drive AI-платформа для самоуправляемых автомобилей - 10
  Другие 130

  Smart Meal Service: Lunch fastPass Робот-кассир - 1
  Визорлабс Видеопилот (VizorLabs Spotter) - 1
  Hi-Fly Cargo - 1
  Cognitive Agro Pilot Система автоматического вождения - 1
  Эфко: Hi-Fly Taxi Аэротакси - 1
  Другие 9

  For-1 Антропоморфный робот - 2
  Dobot CR-серия Коллаборативные роботы - 1
  Aripix A1 Робот-манипулятор - 1
  Robotech: RP-серия Роботы-паллетайзеры - 1
  Яндекс: Складские роботы - 1
  Другие 2

  Pudu CC1 Робот-уборщик - 2
  Яндекс.Ровер - 2
  Ronavi S-серия Роботы для сортировки товаров - 1
  Da Vinci (робот-хирург) - 1
  Unitree H1 Антропоморфные роботы - 1
  Другие 2
Данные не найдены

Подрядчики-лидеры по количеству проектов

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Группа компаний ЦРТ (Центр речевых технологий) (46)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (29)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (27)
  SteadyControl (18)
  Naumen (Наумен консалтинг) (15)
  Другие (206)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (12)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (7)
  Naumen (Наумен консалтинг) (3)
  Voice Systems Robotics (VSR, VS Robotics) (3)
  SteadyControl (2)
  Другие (14)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (9)
  Группа компаний ЦРТ (Центр речевых технологий) (8)
  SteadyControl (6)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (5)
  Naumen (Наумен консалтинг) (4)
  Другие (29)

  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (6)
  SteadyControl (5)
  Unlimited Production (Анлимитед Продакшен, eXpress) (4)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (3)
  Napoleon IT (Наполеон Айти) (3)
  Другие (37)

  Napoleon IT (Наполеон Айти) (1)
  Voice Systems Robotics (VSR, VS Robotics) (1)
  Группа компаний ЦРТ (Центр речевых технологий) (1)
  Наносемантика (Nanosemantics Lab) (1)
  Сенсор-Тех Лаборатория (1)
  Другие (0)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Группа компаний ЦРТ (Центр речевых технологий) (18, 48)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4, 30)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (12, 29)
  SteadyControl HoReCa (1, 23)
  SteadyControl (1, 23)
  Другие (400, 226)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2, 12)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7)
  Voice Systems Robotics (VSR, VS Robotics) (1, 3)
  Naumen (Наумен консалтинг) (1, 3)
  SteadyControl (1, 3)
  Другие (12, 16)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9)
  Группа компаний ЦРТ (Центр речевых технологий) (4, 7)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7)
  SteadyControl HoReCa (1, 7)
  SteadyControl (1, 7)
  Другие (18, 30)

  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7)
  Сбербанк (3, 5)
  SteadyControl (1, 5)
  SteadyControl HoReCa (1, 5)
  СалютДевайсы (ранее SberDevices) (2, 4)
  Другие (26, 44)

  Napoleon IT (Наполеон Айти) (1, 1)
  Группа компаний ЦРТ (Центр речевых технологий) (1, 1)
  Сенсор-Тех Лаборатория (1, 1)
  Voice Systems Robotics (VSR, VS Robotics) (1, 1)
  Наносемантика (Nanosemantics Lab) (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2022 год
2023 год
2024 год
Текущий год

  МТТ VoiceBox - 24
  SteadyControl Система контроля и управления персоналом - 23
  BSS Digital2Speech - 21
  Voice2Med Система распознавания речи в медицине - 14
  Naumen Erudite - 13
  Другие 215

  МТТ VoiceBox - 11
  BSS Digital2Speech - 6
  SteadyControl Система контроля и управления персоналом - 3
  Naumen Erudite - 3
  VS Robotics: VS Робот-оператор - 3
  Другие 14

  МТТ VoiceBox - 9
  SteadyControl Система контроля и управления персоналом - 7
  BSS Digital2Speech - 6
  EXpress Защищенный корпоративный мессенджер - 6
  SmartLogger II - 4
  Другие 23

  SteadyControl Система контроля и управления персоналом - 5
  BSS Digital2Speech - 4
  EXpress Защищенный корпоративный мессенджер - 4
  BSS: Виртуальный голосовой ассистент - 3
  Сбер: GigaChat - 3
  Другие 35

  VS Robotics: VS Робот-оператор - 1
  Сенсор-Тех: Сурдо-Помощь - 1
  Napoleon IT отзывы - 1
  Наносемантика: DialogOS (Dialog Operating System) - 1
  ЦРТ: Voice2X Платформа голосового ввода для крупного бизнеса - 1
  Другие 0