- Оценка сроков и сложности реализации предлагаемого решения с обоснованием. Выполняется в начале работы над статьей
- Постановка задачи. Входные и выходные данные. Область применения предлагаемого решения.
- Ключевая идея предлагаемого решения.
- Уровень техники.
- Таксономия. Методологическое пространство решений задачи. Основные направления.
- Эволюция. Были ли определенные периоды в истории развития решений задачи, если да, то какие? Чем обусловлен переход между периодами (изобретение конкретного алгоритма...)?
- Hедостатки существующих решений (желательно, проявляющие себя количественно: низкая точность оценок в конкретных сценариях, долгий инференс, необходимость сбора большого объема обучающих данных или их трудоемкой разметки...). Нужно обосновать необходимость улучшения существующих решений или разработки нового решения.
- Позиционирование. Предлагаемое решение в методологическом пространстве существующих решений задачи.
- Таксономия. К какому направлению принадлежит предлагаемое решение?
- Эволюция. Чему наследует предлагаемое решение? Чем отличается от предшествующих решений?
- Кросс-связи. Заимствует ли предлагаемое решение алгоритмы, подходы, модули из решений других задач?
- Преимущества предлагаемого решения. Какие недостатки существующих решений удалось устранить или минимизировать в предлагаемом решении? С помощью каких модификаций?
- Недостатки предлагаемого решения. Что неизбежно определено устройством предлагаемого решения, принадлежностью к определенному направлению? Что унаследовано от предшествующего решения? Какие недостатки привнесены особенностями предлагаемого решения, и не свойственны другим решениям этого направления или предшествующему решению? Как эти недостатки ограничивают применимость предлагаемого решения, каковы возможные сценарии использования? Что можно сделать, чтобы устранить или минимизировать недостатки предлагаемого решения?
- Экспериментальная проверка предлагаемого решения.
- Стандартные протоколы оценки качества решения задачи (бенчмарки). Используемые данные, в чем их особенность, какие выводы на основе результатов экспериментов правомерны, а какие – нет? (мало данных=>нерепрезентативные результаты, нельзя оценить устойчивость...; данные определенного типа=>невозможность оценки обобщающей способности метода...)
- Метрики. Что именно показывают существующие метрики. Преимущества и недостатки существующих метрик. Выбор ключевых метрик с обоснованием причин.
- Список экспериментов + ablation studies. Эксперименты должны наглядно демонстрировать заявленные преимущества предлагаемого решения из п. 3.4. Можно ли считать полученные эмпирические свидетельства исчерпывающими, если нет, как оправдать их недостаточность?