How Were All The Leviim Tamei?

וטהרת אותם [ח' ו'] - בספר משאת המלך תמה במה דאי' בחז"ל כאן שהלוים נטמאו בעת הריגת עובדי העגל דאיך יתכן שהרגו רק ג' אלפים מבנ"י שעבדו וכל הכ"ב אלפים נטמאו?