ESP32-S3 запустил TinyStories на 28.9 млн параметров при 9.88 токена/с

ESP32-S3 с 512 КБ SRAM генерирует текст локально со скоростью 9.88 токена/с, используя модель размером 14.9 МБ. В 28.9 млн параметров входят 25 млн редко выбираемых элементов Per-Layer Embeddings, поэтому основная вычислительная нагрузка остаётся небольшой. Результат определила раскладка данных между SRAM, PSRAM и flash с учётом характера доступа. →