Varje gång en manlig förövare pekas ut som ett exempel på de strukturer som finns i samhället ropar en manskör ”inte alla män!”.