בשנת 1952 הוקמה הפקולטה למדעים כחלק מתוכנית ההרחבה של הטכניון, והמחלקה לפיזיקה הוקמה כחלק מהפקולטה.

ראש המחלקה הראשון של פיזיקה היה פרופסור נתן רוזן. מספר חוקרים כגון דוד בוהם הצטרפו למחלקה לאחר שעזבו את ארצות הברית בתקופת המקארתיזם.

קבוצה של ששת הסטודנטים הראשונים סיימה את לימודיה בשנת 1956. באותה שנה היה דיקן הפקולטה פרופסור קורט סיטה, יליד צ'כוסלובקיה, מדען בעל שם עולמי בתחום הקרניים הקוסמיות.

בשנת 1960, הוגש נגד סיטה כתב אישום על ניסיון לפגוע בביטחון המדינה. בעקבות הרשעתו עזב סיטה את הארץ. פרטי פרשה זו לא ברורים לגמרי, אך מקרה זה כמעט ולא השפיע על המחלקה.

בשנת 1958 המחלקה לפיזיקה עברה מה"צריף הירוק" הממוקם צמוד לבניין הישן של הטכניון שבשכונת הדר לקמפוס החדש בנווה שאנן. בשנה זו נוסד המכון לפיזיקה על שם אלברט איינשטיין.
בשנת 1962 המחלקה לפיזיקה שינתה את מעמדה והפכה לפקולטה לפיזיקה. אהרון הירש מונה לדיקאן הראשון. בשנת 1976 הוקם המכון למצב מוצק על-שם רוזן. בצוות של המכון יש חוקרים מפקולטות שונות.

לקראת סוף שנות ה-90 של המאה ה-20 הפקולטה הייתה בבעיה קשה עקב מחסור במקום למשרדים ולמעבדות. ב-2004 הוקם אגף חדש הקומפלקס של לידוב, שהוא משכנה של הפקולטה לפיזיקה כיום.