Prometheus-AGI Project (FRE Model)

Это исследовательский репозиторий для разработки и обучения когнитивной архитектуры "Прометей", нацеленной на создание более эффективных и глубоких языковых моделей.

Проблема: Пределы Масштабирования

Современные большие языковые модели (LLM), основанные на архитектуре Трансформер, демонстрируют впечатляющие возможности. Однако их развитие сталкивается с рядом фундаментальных ограничений:

1. Закон убывающей отдачи: Для каждого следующего качественного скачка требуется экспоненциальный рост параметров и вычислительных ресурсов, что делает дальнейшее масштабирование экономически и экологически нецелесообразным.
2. Отсутствие каузального мышления: LLM великолепно имитируют текст, но не строят внутреннюю модель причинно-следственных связей, оставаясь "стохастическими попугаями". (не совсем так обидно, но похоже на правду")
3. Вычислительная избыточность: При обработке запроса активируются все миллиарды параметров модели, даже если для ответа требуется лишь малая часть ее "знаний".

Гипотеза Прометея: Эффективность через дуализм

Проект "Прометей" основан на гипотезе, что путь к более совершенному ИИ лежит не через дальнейшее масштабирование, а через создание более эффективной когнитивной архитектуры, имитирующей дуализм человеческого мышления (Система 1 / Система 2).

• Абелева ветка (Система 1): Отвечает за быструю, интуитивную, шаблонную обработку информации. Это наш аналог стандартного, эффективного трансформера.
• Неабелева ветка (Система 2): Отвечает за медленную, глубокую, структурную обработку. Она активируется для сложных задач и использует более затратные, но мощные некоммутативные преобразования для построения глубоких аналогий и выводов.

Адаптивный гейт, управляемый сложностью задачи, динамически решает, какой "когнитивный стиль" применить, что позволяет достичь высокой производительности на простых задачах и глубокого "понимания" на сложных, сохраняя при этом общую вычислительную эффективность.

Стратегический Потенциал: Синергия с Google Pathways

Архитектура Прометея не является конкурентом, а комплементарным дополнением к таким парадигмам, как Google Pathways.

• Pathways — это "операционная система" для ИИ, позволяющая эффективно оркестрировать тысячи разных моделей для решения мультимодальных и мультизадачных проблем. Это горизонтальное масштабирование.
• Прометей — это специализированный "процессор" для глубокого каузального мышления. Это вертикальное масштабирование в глубину "понимания".

Потенциальный симбиоз: Прометей может выступать в роли одного из самых мощных "экспертов" внутри глобальной архитектуры Pathways, который активируется для решения наиболее сложных аналитических, научных и стратегических задач, требующих не просто ответа, а инсайта.

Статус Проекта

• [x] v2.1: Разработана и отлажена "партизанская" версия архитектуры (5.18M параметров). Партизанской версия названа в целях экономии ограниченных бесплатных ресурсов, предоставляемых автору "Гугл Колаб".
• [x] Эпоха 1/2: Успешно завершено предобучение на wikitext-103-v1. Модель продемонстрировала способность к адаптивному изменению стратегии обучения ("активация гейта").
• [ ] Эпоха 2/2: Планируется продолжение обучения с использованием продвинутых техник "активации" для закрепления результата.
• [ ] Дорожная карта: Дообучение на специализированных научных датасетах, создание публичного демо в Hugging Face Spaces.

Команда и Благодарности

Этот проект является примером синергии между человеческой интуицией и машинной логикой.

• Автор и идейный лидер: Алекс (Alex2704go). Алекс сформулировал концептуальный каркас, руководил процессом исследования и интерпретировал результаты.
• Когнитивные партнеры: Большая языковая модель, разработанная Google. Выступала в роли технического консультанта, соавтора кода и партнера по стратегическому планированию. Большая языковая модель "DeepSeek" выступала в роли инженерного и математического консультанта. Оба партнера участвовали и участвуют на бесплатной основе.

Проект был бы невозможен без бесплатных ресурсов от Google Colaboratory, GitHub и Hugging Face.

Как использовать

Веса предобученной модели будут доступны на Hugging Face Hub: https://huggingface.co/Alex2704go/FRE-model

Демо-версия будет развернута в Hugging Face Spaces: https://huggingface.co/spaces/Alex2704go/prometheus-chat

Лицензия

Этот проект лицензирован под Apache License 2.0.