Как DeepSeek справляется с текстом: результаты практического теста
Локальные LLM протестировали в «Бесконечном лете»: игру на Ren’Py связали с Ollama через TCP-мост, а модели заставили выбирать реплики и маршруты. Технически схема заработала, но результаты в итоге вышли слабыми: DeepSeek и Gemma застревали в лабиринте, Qwen долго думала над отдельными сценами, а лучшие прогоны всё равно заканчивались плохими концовками.
AI-обработка оригинала Habr AI; редакция Hamidun News
В блоге Selectel на Хабре описали эксперимент, в котором локальные большие языковые модели DeepSeek и Qwen подключили к визуальной новелле «Бесконечное лето» и заставили принимать сюжетные решения вместо игрока.
Может ли нейросеть
DeepSeek самостоятельно пройти текстовую новеллу? Согласно тесту Selectel, даже мощные локальные модели DeepSeek и Qwen часто путаются в ответах, тормозят на длинном контексте и приводят историю к неудачным финалам. В «Бесконечном лете» с 13 концовками модели не смогли выбрать оптимальный сюжетный путь.
Как DeepSeek работает с длинным контекстом?
Тест показал, что даже сильные модели как DeepSeek часто путаются в ответах, когда нужно обрабатывать длинный контекст, и это приводит к неудачным финалам в задачах, требующих последовательного принятия решений.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.