При захвате под Windows2000/XP...

При захвате под Windows2000/XP, используя WDM драйвер - максимальное разрешение, с которым можно захватить видео программой написанной под VideoForWindows (а VirtualDub именно такой и является), равно 352x288

Правда есть небольшое исключение, о котором я узнал совсем недавно : если использовать WDM драйвер от Eduardo Jose Tagle, то даже VideoForWindows программами можно захватить видео с разрешением вплоть до 720x576. Как такое возможно - не знаю, но факт остается фактом. :-)
И так выбираем разрешением и глубину цвета. Глубину цвета, как уже говорилось, лучше выбирать YUY2.