Instruction Retrieval: внешняя память для малых моделей через извлечение готовых инструкций

Обнаружено: Малая модель на 7B параметров физически не может удержать все медицинские противопоказания или юридические прецеденты. При попытке вспомнить редкий факт она галлюцинирует. Но она отлично следует готовым инструкциям. Instruction Retrieval позволяет превратить малую модель в узкого специалиста через внешнюю память – корпус готовых инструкций для типов задач. Метод выносит знания за пределы параметров модели – в текстовый корпус. Каждая инструкция = компактная шпаргалка: Background Knowledge (что нужно знать) + Reasoning Steps (что делать пошагово). При инференсе система извлекает top-5 релевантных инструкций → модель следует готовому плану вместо импровизации. Медицина +9%, право +8% точности.