АРХІТЕКТУРНІ МЕТОДИ ЗАБЕЗПЕЧЕННЯ СТРУКТУРНОЇ ЦІЛІСНОСТІ МАЛИХ МОВНИХ МОДЕЛЕЙ У СИСТЕМАХ РЕАЛЬНОГО ЧАСУ

Анотація

У статті розглядаються проблеми інтеграції малих мовних моделей (SLM), зокрема Phi-4 Mini, в системи реального часу, що вимагають строго структурованого генерування даних у форматі JSON та водночас високої схоластичності послідовності токенів. Проблема розглянута у предметній області TTRPG ігор. Аналізується фундаментальний інформаційно-теоретичний конфлікт, названий “парадоксом ентропії”, який виникає, коли одночасно потрібні висока креативність та синтаксична жорсткість форматів даних. Встановлено, що стандартні методи, як GBNF або двопрохідне генерування, є неефективними для сценаріїв у реальному часі через високу затримку та блокування генерування. Пропонується та обґрунтовується гібридна архітектура комбінації різних методів. Цей підхід поєднує просту оптимізацію параметрів вибірки з алгоритмами очищення вихідних даних на основі регулярних виразів. Описаний метод пом'якшує шанс генерації некоректних JSON при роботі з невеликими моделями, забезпечуючи більшу стабільність відповідей з мінімізацією втрати семантичної якості тексту.