1954年冰岛足协加入欧足联，同年冰岛国家队申请参加1956年欧锦赛预选赛，但申请遭到拒绝，此后国家队参加了1958年瑞典世界杯预选赛，最终冰岛队在预选赛中一场不胜，共丢掉二十六球。

1974年开始，冰岛国家队参加了每一届世界杯和欧洲杯预选赛。1994年国家队在当时创造了加入国际足联以来的最佳fifa排名，第三十七位。1996年4月24日冰岛国家队在做客塔林与爱沙尼亚国家队的一场友谊赛中，冰岛小将埃杜·斯马里·古德约翰森换下了当时三十五岁的阿尔诺·古德约翰森，这也是冰岛国家队首次有父子在同一场国家队比赛中出场。

在2004年的欧洲杯预选赛中，冰岛队最终比苏格兰队少一分排名小组第三，无缘附加赛。

2014年冰岛几乎要成为史上国土面积最小的世界杯参赛国。在预选赛e组里排名第二，但在随后的附加赛中，遭遇强敌克罗地亚队，首回合双方互交白卷，次回合克罗地亚二比零胜出。

冰岛男足世界排名在2015年的7月份曾经攀升到第二十三位。