中华民国四年（1915年）三月一日，马大猷出生于北京，父马有略，字星曹，在北洋政府农商部任"办事"，因经常欠薪，有时要去当铺典当，所以从小知道贫穷滋味。后来，父亲弃官去上海做律师，两年后故去。
中华民国十五年（1926年），马大猷考入师大附中。念中学时，受傅种孙和程春台先生影响很大，非常喜欢数学。
中华民国十九年（1930年），15岁的他靠北平潮州同乡会的资助才得以完成中学学业。
中华民国二十一年（1932年），毕业于北京师范大学附属中学。
中华民国二十五年（1936年），马大猷从北京大学毕业获学士学位，考上了清华大学招考的留美公费生，学的是物理学方面的电声学专业。
中华民国二十六年（1937年）底，在吴有训先生的建议下，马大猷前往美国洛杉矶加州大学物理系学习，成为国际声学权威之一努特森的研究生。
中华民国二十七年（1938年），马大猷发表了他在加州大学学习时的第一篇论文《矩形室内低频简正频率的分布》。这篇论文被推荐在1938年秋天的美国声学学会年会上宣读，马大猷被认为贡献了世界声学史上关于“波动声学的一个基本公式”。
中华民国二十八年（1939年），获美国哈佛大学硕士学位。
中华民国二十九年（1940年），马大猷获得了哈佛大学博士学位，成为该校历史上第一个用两年时间就获得博士学位的人。学校毕业典礼后，马大猷即启程回中国。在回国途中，到耶鲁大学看望了赵先任先生和颜福庆先生。还去UCLA看望了努特森先生。最后由旧金山登轮回国。
1940年8月到昆明，在西南联合大学电机系任副教授，两年后升教授。
中华民国三十二年（1943年），马大猷被美国声学会选为会士，成为中国科学家在该学会的第一位会士。
1946年8月到北大，任物理系教授，不久学校决定筹备工学院，被聘为筹备委员会主任，后任工学院院长。
中华民国三十七年（1948年），任北京大学工学院院长。
1949年1月，迎来北平解放，工学院从此逐渐溶入了全国的大发展。为此，马大猷在工学院采取了两项措施：一是改变学制，把五年制改为四年制；一是大办适应实际需要的一年制和二年制的专科，这样就培养了大批技术干部。
1952年-1955年，中国科学院研究员。
1952年，全国院系调整，马大猷事先已调到哈尔滨工业大学任教务长、教授。
1952年，历任哈尔滨工业大学教授兼教务长、中国科学院声学研究所研究员及副所长、中国科技大学教授、数学物理学部副主任及研究生院副院长、全国声学标准化技术委员会主任。
1955年，调到科学院应用物理研究所(后来改为物理所)，恢复声学的研究工作。先后任中国科学院物理研究所、电子研究所和声学研究所研究员、副所长。同年，被聘为中国科学院学部委员(后来改称院土)。
1956年，全国制定十二年科技发展远景规划，马大猷提出了发展声学的规划建议，并参加了讨论。会上提出4项紧急措施(电子学、半导体、计算机和自动化)，为我国新技术的发展画出蓝图。后来关于声学部分的发展规划意见正是由他起草。会后，中国科学院成立了电子学研究所筹备委员会，指定李强为筹委主任，孟昭英、马大猷和陈芳允为筹备委员会副主任。
1959年-1966年，中国科学技术大学教授。
1959年中国科技大学在北京成立，他与吴有训先生、严济慈先生分担几个班的普通物理课，研究所的工作不减少，一直教了6年，直到"科大"搬到合肥。
1959年，经周恩来总理亲自点将，他主持了人民大会堂的音质效果设计。
1961年，他总结了50年代领导开展低频和大气声学记录分析系统研究的经验成果，以自己的名义专门向中科院写报告，提出开展核爆破侦察和声学探测的科研任务。
1964年，在中国第一颗原子弹爆破成功的同时，马大猷组织了核爆破侦察研究，用次声测定大气层核爆炸的地点、时间和当量。同年声学研究所从电子所分出来正式成立，马大猷改到声学所，任副所长、研究员。同时，创办了《声学学报》，成为全国声学最高学术刊物，马大猷任主编，以后还出了英文版。
1966年，马大猷承担了导弹发射井吸声系统的设计。同年就组织进行了第一次北京市交通噪声调查研究工作，撰写出“交通噪声”论文。
1972年，他开始研究解决地铁噪声问题，找到了电动机设计上的缺陷，经处理后降低噪声10分贝。
1973年，召开的第一次全国环境保护会议上，提出噪声应与废水、废气、废渣并列为环境污染四害问题之一。
1982年，他还主持完成核爆炸产生次声波在大气层中传播的理论、数据处理和电容传声器次声探测系统的建造。同年他组织完成了《城市区域环境噪声标准》及测量方法的标准制订工作，之后又陆续组织完成了机场噪声、铁路噪声、工业噪声、施工噪声以及各种噪声源测试等多个相关的国家标准的制、修订，形成了比较完整的环境噪声测量、评价、控制的标准体系。
2005年，马大猷给国务院总理温家宝寄去他所撰写的《国家实力根本源于基础研究》和《