ESP32-S3 запустил TinyStories на 28.9 млн параметров при 9.88 токена/с

9,88 токена/с выдаёт ESP32-S3 при локальном запуске TinyStories: квантованная модель занимает около 14,9 МБ и работает на двух ядрах Xtensa LX7 без сервера и сети. Из 28,9 млн параметров около 25 млн приходятся на Per-Layer Embeddings, из которых для каждого токена выбираются лишь отдельные строки; горячие данные размещаются в SRAM, крупные массивы — в PSRAM, редкие обращения — во flash. Модель предназначена для коротких синтетических рассказов и не обучена диалогу или генерации кода. →