Компания Anthropic представила революционные методы анализа крупных языковых моделей, таких как Claude. В опубликованных исследованиях раскрыто, каким образом эти системы обрабатывают информацию и принимают решения. Теперь мы знаем, что Claude может заранее планировать стихи и осуществлять многослойное рассуждение.
Исследователи использовали концепции нейробиологии, чтобы создать методы, называемые «трассировки цепей» и «графы атрибуции». Они позволяют визуализировать, какие элементы модели активируются при выполнении задач. Например, при написании рифмованной строки Claude выбирает рифмующиеся слова заранее, что подтверждает высокий уровень её интеллектуальной активности.
Однако результаты также показали, что не во всех случаях Claude демонстрирует точность. В некоторых случаях, например, при решении сложных математических задач, модель может выдавать ложное объяснение процесса расчета. Это открытие подчеркивает важность и необходимость прозрачности в AI, особенно когда речь идет о потенциально опасных ошибках.
Общий вывод: хотя исследования в этой области находятся на начальной стадии, работы Anthropic открывают новые горизонты для понимания и безопасного применения AI технологий.