perl -ne 'print if (++$a{$_} == 1);' <oldfilename >newfilename