Как-то раз в статье мы заявили state-of-the-art результаты и получили несколько
осажающий отзыв от рецензентов. Рецензенты осторожно напомнили, что качество модели,
измеренное в стандартных метриках, лишь отчасти описывает peformance модели. Если у
вас есть хоть намек на то, что методы предыдущего поколения медленные и/или
ресурсоемкие, или вы заявляете о тотальном превосходстве вашего метода над всеми
существующими – извольте предоставить и тактико-технические характеристики модели:
скорость инференса, время обучения,
размер модели, вычислительную сложность,
а также количество затрачиваемых ресурсов (памяти)
на разных этапах обучения и применения модели.
Скорость инференса модели хорошо бы измерить в тех же
условиях, в которых ее замеряли ваши предшественники. Скорее всего, у вас другой
процессор и другая видеокарта. Если вы не можете напрямую сравнить значения для вашей
модели и для существующих, то, в идеале, стоит запустить конкурирующие методы и замерить
их скорость в вашей тестовой установке в одинаковых условиях. Если все это неприменимо
в вашем случае (нет кода, воспроизвести метод по описанию статьи невозможно, указанная
в оригинальной статье скорость была измерена на другой машине с другой видеокартой...)
– будьте очень аккуратны в формулировках, избегайте прямых сравнений в самой статье и
подготовьте объяснение для рецензентов. В крайнем случае апеллируйте к другим показателям:
вычислительной сложности и размеру модели (если сравнение в вашу пользу, конечно).
Вычислительная сложность измеряется в флопсах, FLOPS.
Размер модели – количество параметров, и, соответственно, ее вес.
Ресурсы – это, в первую очередь, объем памяти, занимаемый
моделью на инференсе (memory footprint). Во вторую – объем памяти, занимаемый при обучении.
Его приводить необязательно, но это позволяет оценить, насколько затратно может быть создание
программного решения с использованием вашей модели. Поэтому, если вы предлагаете уже обученную
general-purpose модель, и потенциальный пользователь может использовать ее из коробки, т.е.
нового обучения не требуется – акцентируйте на этом внимание еще раз, именно в этом разделе
статьи, в контексте ресурсов.