I LOVE that question! Because it highlights a Yerushalmi:
רִבִּי חוּנָה רִבִּי יִרְמְיָה בְשֵׁם רִבִּי שְׁמוּאֵל בַּר רַב יִצְחָק. מָצָאנוּ שֶׁוִּיתֶּר הַקָּדוֹשׁ בָּרוּךְ הוּא לְיִשְׂרָאֵל עַל עֲבוֹדָה זָרָה וְעַל גִּילּוּי עֲרָיוֹת וְעַל שְׁפִיכוּת דָּמִים. וְעַל מְאָסָם בַּתּוֹרָה לֹא ווִיתֵּר. מַה טַעָם. וַיֹּאמֶר י֙י עַל אֲשֶׁר עָשׂוּ עֲבוֹדָה זָרָה וְגִילּוּי עֲרָיוֹת וּשְׁפִיכוּת דָּמִים אֵין כָּתוּב כָּאן. אֶלָּא וַיֹּ֣אמֶר י֙י עַל־עָזְבָם֙ אֶת־תּ֣וֹרָתִ֔י. אָמַר רִבִּי חִייָה בַּר בָּא. אוֹתִי עָֽזְבוּ אַווַתְּרָה. שֶׁמָּא אֶת תּוֹרָתִי שָׁמָרוּ. שֶׁאִילּוֹ אוֹתִי עָֽזְבוּ וְתוֹרָתִי שָׁמָרוּ הַשְּׂאוֹר שֶׁבָּהּ הָיָה מְקָֽרְבָן אֶצְלִי. רַב חוּנָה אָמַר. לַמֵּד תּוֹרָה שְׁלֹּא לִשְׁמָהּ. שֶׁמִּתּוֹךְ שְׁלֹּא לִשְׁמָהּ אַתְּ בָּא לִשְׁמָהּ.
Rebbi Chuna, Rebbi Yirmiah in the name of Rebbi Shmuel bar Rav Yitzchak: We find that the Holy One, praise to Him, did forego for Israel about idol worship, incest and adultery, and bloodshed. But for their rejection of the Torah he did not forego. What is the reason? It is not written here “The Eternal said, because they committed idol worship, incest and adultery, and bloodshed,” but the Eternal said, because they abandoned My Torah. Rebbi Chiyya bar Abba said, that they abandoned Me I could forego, maybe they would keep My Torah, since if they abandoned Me but kept My Torah, the leavening in it would bring them close to Me. Rav Ḥuna said, study Torah even not for its own merit, since through {studying} not for its own merit you come to {study} for its own.
רבי חונה (רבי הונא, אמורא ארץ ישראלי בדור הרביעי) אמר בשם רבי ירמיה (מגדולי אמוראי ארץ ישראל בדור השלישי והרביעי) שאמר בשם רבי שמואל בר רב יצחק (אמורא בדור השלישי): מצאנו שויתר (לא הקפיד, סלח) הקב"ה לישראל על עבודה זרה ועל גילוי עריות ועל שפיכות דמים – שהם שלוש העבירות החמורות שבתורה, ולא העניש עליהן, ועל מָאֳסָם בתורה לא וויתר – על שמאסו (עזבו מתוך בוז וגועל נפש) את התורה לא ויתר ה' לישראל אלא הביא עליהם עונש (הלשון על פי עמוס ב,ד: "כֹּה אָמַר ה': עַל שְׁלֹשָׁה פִּשְׁעֵי יְהוּדָה וְעַל אַרְבָּעָה לֹא אֲשִׁיבֶנּוּ, עַל מָאֳסָם אֶת תּוֹרַת ה'..."). ויש להציע פסוק כמקור לקביעה: מה טעם? – מה המקור בכתוב לדבר זה? - 'וַיֹּאמֶר י'י: על אשר עשו עבודה זרה וגילוי עריות ושפיכות דמים' אין כתוב כאן – בדברי ירמיהו "על מה אבדה הארץ?", אלא "וַיֹּאמֶר י'י: עַל עָזְבָם אֶת תּוֹרָתִי" (ירמיהו ט,יב) – הרי שלא העניש ה' את ישראל אלא על שעזבו את התורה.
בירמיהו טז,י-יא נאמר: "וְהָיָה כִּי תַגִּיד לָעָם הַזֶּה אֵת כָּל הַדְּבָרִים הָאֵלֶּה, וְאָמְרוּ אֵלֶיךָ: עַל מֶה דִבֶּר ה' עָלֵינוּ אֵת כָּל הָרָעָה הַגְּדוֹלָה הַזֹּאת? וּמֶה עֲוֹנֵנוּ וּמֶה חַטָּאתֵנוּ אֲשֶׁר חָטָאנוּ לה' אֱלֹהֵינוּ? - וְאָמַרְתָּ אֲלֵיהֶם: עַל אֲשֶׁר עָזְבוּ אֲבוֹתֵיכֶם אוֹתִי, נְאֻם ה', וַיֵּלְכוּ אַחֲרֵי אֱלֹהִים אֲחֵרִים וַיַּעַבְדוּם וַיִּשְׁתַּחֲווּ לָהֶם, וְאֹתִי עָזָבוּ, וְאֶת תּוֹרָתִי לֹא שָׁמָרוּ".
אמר רבי חייה בר בא (אמורא ארץ ישראלי בדור השלישי): "אֹתִי עָזָבוּ" (ירמיהו טז,יא) - אוותרה (='הא וַותָּרָה')! – הנה ויתור (מחילה)! שמא 'אֶת תּוֹרָתִי שָׁמָרוּ'?! (בתמיהה) – שהלוויי אותי עזבו אבל את תורתי שמרו, שאִילּוּ 'אֹתִי עָזָבוּ ותּוֹרָתִי שָׁמָרוּ' - השׂאור (בצק חמוץ ששמים בתוך העיסה והוא גורם לתסיסת הבצק ולתפיחתו. ובהשאלה: החלק העיקרי) שבה היה מקרבן אצלי – עיקרה ויסודה (מהותה הפנימית התוססת והמתסיסה) של התורה היו מחזירים אותם אל ה' שאותו עזבו, ולא היה ה' מביא עליהם עונש. אבל עכשיו שלא שמרו את תורתו, לא יחזרו אליו.
רב חונה (רב הונא, גדול אמוראי בבל בדור השני) אמר: לְמַד תורה שלא לשמה – שלא לשם ידיעת התורה וקיומה, שמתוך שלא לשמה את (אתה) בא – לבסוף, לשמה – בגלל השאור שבה.
החלק הד' - הקובע עצמו תמיד לשיחה בטלה ודברים בטלים כדרך יושבי קרנות, ושתים רעות יש בדבר. האחת - כי כל המרבה דברים מביא חטא. והשנית - כי הוא בטל מדברי התורה. ויש בדבר הזה דרכי מות. כי איך לא זכר ולא שם על לבו כי בעתים ההם אשר הוא משחיתם יוכל להשיג הנעימות לקנות חיי עולם אם יקבע העתים המזומנים לתורה. אשר הוא פנוי מהם ממלאכת שמים מעליו. על כן יענש לשאת עול היסורים מדה כנגד מדה. שנאמר - (ישעיהו כ״ח:כ״ב) ועתה אל תתלוצצו פן יחזקו מוסריכם. ואמרו ז"ל כל המתלוצץ יסורים באים עליו שנאמר פן יחזקו מוסריכם. והחכמים היו מזהירים לתלמידיהם שלא להתלוצץ גם על דרך מקרה ועראי. ועל החלק הזה הוצרכו להזהיר כי רבים יכשלו בו על דרך מקרה:
And the fourth section: One who always makes a habit for himself to engage in idle talk, and idle matters, like those who sit in the street corners. And there are two evils in the matter: The first is because all who proliferate words bring sin. And the second is that he is idle from [speaking] words of Torah. And the ways of death [are found] in this. For he does not remember or pay attention, that the time periods that he is wasting, he could [use] to reach pleasantness, to acquire eternal life - if he were to set these available times for Torah when he is free, for the work of the Heavens which is upon him. Therefore he will be punished to carry the yoke of afflictions - measure for measure - as it is stated (Isaiah 28:22), “Now therefore do not be scoffers, lest your suffering be made strong.” And they, may their memory be blessed, said (Avodah Zarah 18b), “Anyone who scoffs, suffering will befall him, as it is stated, ‘lest your suffering be made strong.’” And the Sages would warn their students against scoffing even occasionally and by chance. And about this section they had to warn, since many have stumbled on it in an occasional way.