When one gazes at the wrong things it causes him to have inappropriate thoughts. When one gazes at people whose thoughts are impure this similarly contaminates a person becauses someone's thoughts are written on their face [as the gemara alludes to with the words בפני נכתב ובפני נחתם]. Tzdakim [even in our days] can actually see on a person's face if he has been surfing the Internet inappropriately. So we have to be careful not to stare intently at such people in the face because we thereby imbibe the Tumah. Chazal already say אסור להסתכל בפני רשע.
On the positive side - looking at holy people has a very positive effect on the soul. Learning torah also eliminates negative thoughts, as it says that Torah is מאירת עינים - shines the eyes.
הדמיונות כולם נולדים מן הלב שבו הם ההרהורים, ונמשכים ממנו למוח ומן העין על ידי הראיה נכנסים ההרהורים ללב, כמ"ש בע"ז כ', ולכן אמרו שם באדר"נ ראיה דדברי תורה מבטלין הרהורין מקרא דמאירת עינים ומשמחי לב. ואסרו (מגילה כ"ח) להסתכל בפני אדם רשע, כי בפנים בולטין כל מיני הרהורים שבלב למבינים, כדאיתא בזוהר (ח"א ק"צ א'), דהכירו בא' שהיה לו מחשבת עבירה שפניו מוריקות... ועל ידי הראיה נכנסין ההרהורים בו חס ושלום. וההיפך בראיית תלמיד חכם, כדאיתא (עירובין י"ג) דחזיתיה לר"מ מאחוריה... וכמו ששמעתי דאוירא דארץ העמים הוא מכניס ללב כחות הזדון של האומות, וההיפוך בארץ ישראל דאוירא מחכים (ב"ב קנ"ח), כי ברית חלוקת לאוירות כמ"ש בב"ר (סוף פ' ל"ד). והשי"ת יסד גבולות עמים לכל אומה שהיא כח מיוחד מקו מיוחד, ואויר המקום שאותה אומה דרה שם וקנויה להם יכול להכניס מאותו כח גם בלב בני ישראל חס ושלום... אבל על ידי דברי תורה הם מוציאים הדברי תורה המלובשת באותם הרהורי שוא... (צדקת הצדיק)
