use List::Util qw(sum);
...
for my $href ( @set ) {
    $totals[ $_ ] += sum @{ $href->{items} }
}
...