The reason we give in to our Yetzer Hara is b/c of arrogance, haughtiness - גבהות הלב in the words of the Maharal.
ואף אם יחשוב וידע שעתיד לתת דין וחשבון לפני מלך מלכי המלכים, מכל מקום כאשר יצרו גובר עליו הוא חוטא, ואינו משגיח בעתיד להיות. ולכך צריך האדם שיסיר ממנו כח יצר הרע, אשר הוא סבה אל החטא. ויצר הרע מתגבר באדם מכח גבהות הלב. וכל תאוה וכל קנאה וכיוצא בו מן הדברים אשר הם גורמים שיבא לידי חטא, מתחדשים מכח גבהות הלב. וזה מפני שיצר הרע מסית האדם עד שהוא מביא את האדם לידי אבוד. לכך אין גרוי והסתה רק כאשר יחשוב האדם עצמו במדריגה עליונה מאד, ואז יצר הרע מסית אותו עד שהוא מפיל אותו ומאבד אותו לגמרי. אבל כאשר רוחו ולבו נשברה בקרבו, אין כאן יצר הרע שיהיה מסית את האדם להפילו ולאבדו, כאשר אין לו מציאות חשוב בעצמו ובעיניו, והוא דבר שאין ממש. ודברים אלו ברורים, רמזו חכמים בכמה מקומות שאין היצר הרע באדם רק מכח מדה זאת.
The proof is the famous story [Nedarim 9b] of the Nazir from the south:
As it is taught in a baraita that Rabbi Shimon HaTzaddik said: In all my days as a priest, I never ate the guilt-offering of a ritually impure nazirite except for one occasion. One time, a particular man who was a nazirite came from the South and I saw that he had beautiful eyes and was good looking, and the fringes of his hair were arranged in curls. I said to him: My son, what did you see that made you decide to destroy this beautiful hair of yours by becoming a nazirite? A nazirite must shave off his hair at the completion of his term. If he becomes impure before the completion of his term, he shaves off his hair and starts his term of naziriteship again.
He said to me: I was a shepherd for my father in my city, and I went to draw water from the spring, and I looked at my reflection [babavua] in the water and my evil inclination quickly overcame me and sought to expel me from the world. I said to myself: Wicked one! Why do you pride yourself in a world that is not yours? Why are you proud of someone who will eventually be food in the grave for worms and maggots, i.e., your body? I swear by the Temple service that I shall shave you for the sake of Heaven.
Shimon HaTzaddik continues the narrative: I immediately arose and kissed him on his head. I said to him: My son, may there be more who take vows of naziriteship like you among the Jewish people. About you the verse states: “When either a man or a woman shall clearly utter a vow, the vow of a nazirite, to consecrate himself to Hashem” (Numbers 6:2).
He felt arrogant and haughty b/c of his good looks [I know how he felt!!!😀😂] so he made a Neder to cut off his hair and remove the source of his גבהות הלב.
כמו שאמר* בפרק קמא דנדרים (ט:), אמר שמעון הצדיק, מימי לא אכלתי אשם נזירות אלא אחת. פעם אחת בא אדם אחד מן הדרום, ראיתי אותו יפה עינים וטוב רואי, וקווצותיו סדורות לו תלתלים, ואמרתי לו, בני, מה ראית להשחית שערך זה נאה. אמר לי, רועה הייתי לאבא בעירי, והלכתי למלאות מים מן המעיין, ונסתכלתי בבבואה שלי, ופחז עלי יצרי ובקש* לטרדני מן העולם. אמרתי לו, רשע, מה אתה מתגאה בעולם שאינו שלך, במי שעתיד להיות רמה ותולעה. העבודה, שאגלחך לשמים. מיד עמדתי ונשקתי על ראשו, ואמרתי לו, בני, כמותך ירבו נודרי נזירות בישראל. עליך הכתוב אומר (במדבר ו, ב) "איש כי יפליא לנדור נדר נזיר להזיר לה'", עד כאן. הרי לך כאשר ראה עצמו יפה ונאה, מיד היה יצרו מתגבר עליו. ואמר שלכך היה יצרו מתגבר עליו, כדי לטרדו מן העולם. כי זה ענין יצר הרע, שמבקש להשחית הבנוי*, לא אשר הוא הרוס, שלא שייך בו אבוד. ומפני זה אמר שיגלח אותו לשמים, להסיר גבהותו ממנו.
ולכך אמר כמו זה ירבו נזירות בישראל, ועליך נאמר (במדבר ו, ב) "להזיר לה'", לשם ה'. כי שאר נזירים שנודרים מחמת שבאו לידי חטא, ובשביל כך הם נודרים, ולבסוף אפשר שיהיו מתחרטים כאשר ימי הנזירות ירבו עליהן, אין זה לשם ה', שהרי מתחלתו היה גם כן בעל חרטה ושנוי, שהיה משנה עצמו מעבירה לפרישות, כך אפשר שיהיה אצלו שנוי כשירבה* עליו ימי הנזירות. אבל זה שמתחלה לא נתחרט כלל מעבירה, וזה נקרא לשם ה'. ועוד, שלכך אמר שהיה בא מן הדרום, שהוא דרך רב, והוא יודע מתחלה שצריך שילך לירושלים להקריב קרבנות, ובודאי מעתה לא יתחרט. ואין זה דומה לימי נזירות, כי יחשוב שלא יצטער מן היין, אבל זה יודע רבוי הדרך.
ואמר שהיה רועה בעירו לאביו, כי היצר הרע דרכו שיבא מחמת הבטלה, ואם היה בא יצרו עליו מחמת הבטלה, היה הוא מגרה היצר הרע בעצמו, ולא יקרא "נזיר לה'", שהרי מחמת עצמו היה. ולכך אמר שלא היה בעל בטלה, כי רועה היה. ויותר מזה, שהיה רועה לאביו, ומצוה עשה, ולא הלך אחר יצרו. ועוד אמר שהיה רועה* בעירו, כי היה מורא אביו עליו. ואם רחוק היה ממקום אביו, היה פורק מעליו עול אביו ויראתו, והיה כאן גבהות לב, והיה הוא הגורם ליצר הרע, ולא היה זה "להזיר לה'". אבל מפני שלא היה מגרה יצר הרע בעצמו, רק בפתע פתאום כאשר נסתכל בבבואה שלו, פחז יצרו עליו לגרות* בו שיראה יופי והדר שלו, דבר זה בודאי לא היה הוא הגורם, רק יצר הרע בלבד, ושייך בזה "להזיר לה'". וכאשר יצרו פחז עליו ובקש לטורדו מן העולם, היה נודר בנזיר לגלח שערו. ומזה תראה כי היצר* הרע בא לאדם מחמת גבהותו, ואז מבקש לטורדו מן העולם, כי זהו ענין היצר הרע שמבקש לטורדו מן העולם.