Представьте, что вы приходите домой и говорите: «Сделай мне кофе», и ваш голосовой помощник оказывается роботизированной рукой, управляемой ИИ на основе GPT-4. Эта технология была представлена в журнале Nature Machine Intelligence.
Робот использует воплощённые языковые модели (ELLMER), позволяющие ему разбивать задачу на подзадачи и формировать план действий. В своей работе система применяет несколько современных технологий, таких как Retrieval-Augmented Generation (RAG), цифры и камеры для ориентировки, а также силовую обратную связь для точного управления действиями.
Тестирование показало, что робот может выполнять сложные команды: открывать шкафы, наливать кофе и даже украшать напитки. Он находит необходимые предметы, контролирует процесс, а также адаптируется к неожиданным обстоятельствам, например, когда чашка смещается.
Такой подход может быть использован в «умных» кухнях и даже в космосе, предоставляя новые возможности для автоматизации повседневных задач.