1936年，中国男篮首次参加奥运会，由主教练董守义带领，中国男篮最终取得15-21名成绩，总共打了四场比赛，中国19-35输给日本，第二场45-38战胜法国，第三场21-29负于秘鲁，第四场14-32输给巴西。
1948年伦敦奥运会，中国男篮继续出战，小组赛两胜两负位列小组第五，被淘汰，在17-23名决赛中，中国42-34战胜瑞士，54-25战胜英国，在17名决赛中38-54输给意大利，获得18名。
1984年洛杉矶奥运会，中国男篮创造最佳战绩，取得第十名，首场比赛，面对乔丹带领的梦之队，中国毫无招架之力，以49-97惨败美国，第二场以85-83险胜法国，第三场80-121大比分输给加拿大，第四场83-102输给西班牙，第五场67-74输给乌拉圭，第六场76-73战胜埃及，最后一场76-86输给巴西，取得第10名成绩。
1988年汉城奥运会，中国男篮在王菲，张勇军，宋力刚的带领下，取得11名，共打了七场比赛，两胜五负，在11名争夺战中以97-75战胜埃及，取得第11名。
1992年巴塞罗那奥运会，中国男篮在蒋兴权的指导下，中国男篮0胜7负，排名垫底，取得第12名.
1996年亚特兰大奥运会，是中国男篮历史上最辉煌的一届，由黄金一代胡卫东，刘玉栋，郑武，李楠领携，首次闯进八强，在四分之一决赛中以61-128输给南斯拉夫，在第七名争夺战中以85-99输给克罗地亚，取得历史最好成绩第八名。
2000年悉尼奥运会，中国男篮2胜4负，在第九名争夺战中以64-81输给西班牙，取得第十名，
2004年雅典奥运会，由姚明，巴特尔，李楠领携，凭借王仕鹏最后时刻三分绝杀塞黑，闯进八强，夺取平历史最佳成绩的第八名.
2008年北京奥运会，姚明，易建联，王治郅势不可挡，再次闯进八强，首战以70-101输给美国，第二场在一直领先的情况下，被西班牙拖进加时，最终惜败给西班牙，在八强赛中，中国68-94输给立陶宛，取得第八名。
2012年奥运会，姚明已经退役，中国男篮青黄不接，最终以全败战绩取得第12名成绩。
