ListViewでは見えてないところのViewは回収されて再利用されるから、素直にLinearLayout使うのがいいんじゃないかな。