双方都是独生子女，岳父岳母不是被赡养人，那岳父岳母该由谁来赡养？女婿应该赡养岳父岳母吗？

这个逻辑是不对的。我国婚姻法中明确规定父母有抚养子女的义务，子女有赡养父母的义务。所以不管生的是儿是女，父母都应该有由自己的子女赡养。

题目中的第1个错误是认为女儿嫁出去就是婆家的人，应该承担的是赡养公婆的义务，而岳父岳母没有儿子就属于没人赡养，这种理解是不对的，客观来说岳父岳母抚养了女儿长大，女儿应当自然具有抚养自己父母的义务，相反儿媳妇儿并没有赡养公婆的义务。

同样的女婿也没有赡养岳父岳母的义务。中国的法律中，抚养义务与赡养义务是相辅相成的，所以从这个意义上来说，继子女对没有抚养过自己的继父母也是没有赡养义务的。

所以答案就是岳父母应当有自己的女儿赡养，而女婿本身并没有赡养父母的义务，法律的这条规定与现实中认为儿媳妇嫁过来就是公婆家的人，本身应该与自己的父母划清界限的传统观念是不同的。