הרב צבי יהודה הקפיד שבשיבה יהיו תנ"כים המודפסים על ידי יהודים בלבד. בזמנו יצא לאור תנ"ך מהודר, מאיר עיניים, שנוצרי מומר הביאו לדפוס. רבים השתמשו בתנ"ך זה שהיה נוח מאוד לשימוש. כשהיה הרב רואה בישיבה תנ"ך זה, היה מחרימו.
פעם התבטא אחד מחשובי התלמידים, בחור מוכשר ביותר ובעל זכרון פנומנלי: "התנ"ך הזה יפה ונוח לשימוש, האם בגלל שנוצרי מומר הוציאו לאור, לא נשתמש בו? זה סתם שיגעון!".
משנודעה לרב התבטאותו של אותו תלמיד, החליט לסלקו מהישיבה.
התלמידים הצרו על החלטת ראש הישיבה. הישיבה באותם ימים הייתה קטנה מאוד, כשלושים בחורים למדו בה, אותו בחור נחשב לאחד המעולים שבחבורה, והיה חבל לוותר עליו.
ניסה אותו בחור לשכנע את הרב שלא יסלוקהו. גם הוריו, שהיו ממשפחה חשובה ומוכרת, ניסו לדבר על ליבו. אף אנו, בני החבורה, באנו לרצי"ה, התווכחנו עמו, וטענו נגדו - בגלל שטות אחת שאמר, יסולק מהישיבה?!
אך הרב, שפעל לא מתוך כעס רגעי אלא מתוך שכנוע פנימי עמוק, ומתוך הכרה ברורה שהאמת מחייבת לנהוג כך, השיב לכל הטענות, ועמד בנחרצות על דעתו. וליתר תוקף הוא שלף פתק, הראה לנו אותו ואמר: "אתם רואים, בפתק זה מינה אותי אבי להיות מחליפו בישיבה, וכך החלטתי!"
The happy ending is that this bochur became one of the Gedolei Ha-dor in the Charedi world!
