Однажды рецензенты статьи нас вежливо попросили удержаться от необоснованных
громких заявлений. Старый добрый trade-off между публицистикой и наукой,
кликбейтностью и корректностью, излишне смелым обобщением и разбором очень узкого
кейса, представляющего мало интереса для широкой публики.
Опишу конкретный случай, но, думаю, ситуация вполне стандартная.
В этот раз мы попались на критике в адрес предшествующих методов: они-да плохи тем, что зависят от большого количества гиперпараметров, которые нужно подбирать под конкретный домен. А у нас – полностью обучаемый пайплайн с небольшим числом гиперпараметров, соответственно, при обучении предлагаемый метод меньше адаптируется под специфику конкретного домена данных, и в результате обладает более высокой обобщающей способностью. На пальцах и из здравого смысла – так-то оно так, конечно. Но по-хорошему, все подобные заявления надо подкреплять в числах и картинках: указывать значения параметров, фигурирующих в заявлении, приводить количественные результаты экспериментов, показывать примеры работы. В нашем случае следовало указать количество гиперпараметров и провести эксперименты по zero-shot transfer.
Так что надо быть аккуратней с заявлениями. Если очень надо для дела или неудержимо хочется что-то громко заявить – думайте, как это показать или доказать.
Опишу конкретный случай, но, думаю, ситуация вполне стандартная.
В этот раз мы попались на критике в адрес предшествующих методов: они-да плохи тем, что зависят от большого количества гиперпараметров, которые нужно подбирать под конкретный домен. А у нас – полностью обучаемый пайплайн с небольшим числом гиперпараметров, соответственно, при обучении предлагаемый метод меньше адаптируется под специфику конкретного домена данных, и в результате обладает более высокой обобщающей способностью. На пальцах и из здравого смысла – так-то оно так, конечно. Но по-хорошему, все подобные заявления надо подкреплять в числах и картинках: указывать значения параметров, фигурирующих в заявлении, приводить количественные результаты экспериментов, показывать примеры работы. В нашем случае следовало указать количество гиперпараметров и провести эксперименты по zero-shot transfer.
Так что надо быть аккуратней с заявлениями. Если очень надо для дела или неудержимо хочется что-то громко заявить – думайте, как это показать или доказать.