במשך 30 השנים הראשונות לקיומו לא היו לטכניון מחלקות מדעיות נפרדות. עם זאת, החינוך הבסיסי בפיזיקה נחשב חשוב ולכן נכלל בתכניות הלימודים.

פרופ' אהרון צ'רניאבסקי לקח על עצמו את האחריות הבלעדית ללמד פיזיקה את כל הסטודנטים בטכניון. באותם ימים מותרות כמו ציוד מעבדה הושגו רק בזכות תרומות.

בשנת 1952 הוקמה המחלקה לפיזיקה כחלק מהפקולטה למדעים.

ראש המחלקה הראשון של פיזיקה היה פרופסור נתן רוזן, המשתלם האחרון של אינשטיין. המכון לפיסיקה על שם אינשטיין כולל גם אגף מיוחד לפיזיקה ניסויית שנתרם על ידי אריק לידוב.

בשנת 1958 המחלקה לפיזיקה עברה מה"צריף הירוק"" הממוקם צמוד לבניין הישן של הטכניון שבהדר לקמפוס החדש בנווה שאנן ונוסד המכון לפיסיקה על שם איינשטיין.

ב-1962 המחלקה לפיזיקה שינתה את מעמדה והפכה לפקולטה.
המחקר הניסויי בפיזיקה קיבל דחיפה משמעותית כשנוסד של המכון למצב מוצק על-שם רוזן ב-1976.

בשנת 2004 נחנך אגף חדש, Lidow Complex, בזכות תרומתו של אריק לידוב בן ה 90, 50 שנה אחרי תרומתו הראשונה!

ב - 2006 הוקם המכון לפיזיקה תיאורטית על שם לווינר.

פרופ׳ יקיר אהרונוב, זוכה פרס וולף ופרס ישראל, הוא בוגר המחלקה.