大会于洛杉矶的黄金时节7月28日至8月12日举行。当时国际奥委会成员有159个，参赛的共140个国家和地区，远远超过了以往各届的规模。

当筹备组织工作基本就绪、大会即将召开的前两个月，苏联、民主德国等 16个国家和地区先后以各种借口宣布不参加本届奥运会。虽经萨马兰奇等多方游说，与政府领导人会谈，但终究未能改变苏联等国的决定。苏联以安全问题为由，实际原因无非是报美国1980年抵制莫斯科奥运会的一箭之仇。

无庸讳言，苏联、民主德国、保加利亚的缺席，给本届某些项目，如田径、游泳、举重等比赛带来了影响。复杂的国际政治斗争的冲击，使奥林匹克运动面临着严峻的考验。抵制和因故未参加的国家和地区有19个：阿富汗、阿尔巴尼亚、保加利亚、 朝鲜、古巴、埃塞俄比亚、匈牙利、伊朗、老挝、蒙古、波兰、民主德国、捷克斯洛伐克、苏联、越南、民主也门、利比亚、安哥拉和上沃尔特。

参与本届奥运会报道的新闻记者共有9190人，其中文字记者4327名，广播记者4863名。大会共招募志愿服务者28742人。

本届参赛运动员共6797人，其中女子1567人，男子5230人，也是历届人数最多的一次。 东道主选手最多，共622人；加拿大次之，计483人；联邦德国列第三，为444人。中国奥委会派出了一个大型体育代表团参加这次盛会。52年前，旧中国首次参加的第十届奥运会，地点也是在洛杉矶。当时运动员仅刘长春孑然一身。而这次运动员达225人，参加了除足球、曲棍球、拳击、马术、现代五项以外的其余16个大项的比赛。中国台北奥委会也派出67名运动员参加了田径、游泳、举重等项的比赛，这是海峡两岸中华儿女首次在夏季奥运会上相逢。

本届奥运会比赛项目仍为21个大项，但单项数从上届的203项增加到221项。新增加的18个单项中，男子占6项，女子为12项。由于科学技术的发展，对女子身体机能有了进一步的了解，加之女子体育在许多国家得到了日益广泛的开展，使得奥运会中的女子项目有了历史性的突破。新增设的女子项目，有长期以来被认为是女子不适宜参加的马拉松跑，有自1896年以来一直只有男子项目的射击和自行车，还有首次列入的纯女子项目：花样游泳和艺术体操。从发展趋势看，女子项目还将进一步扩大。