1. ruGPT3XL: российская языковая модель получает расширение контекста до 8k токенов
Разработчик, ранее восстановивший доступ к древнему чекпоинту модели ruGPT3XL, объявил о прорыве в её возможностях. Ключевая проблема оригинальной модели — смехотворно малый контекст всего в 2 тысячи токенов — была решена. Вместо этого теперь реализована поддержка контекста длиной до 8 тысяч токенов, что существенно ра...