1955年9月，中国人民解放军首次实行军衔制时，55位高级将领被授予上将军衔。按授衔时所在大单位和任职排序，陈伯钧时任南京军事学院副院长，在开国上将中排名三十五位。

陈伯钧原名陈国懋，字少达，号稚勉。1910年11月26日生于四川省达县（今达州）河市镇一个小康人家。1927年1月考入武汉中央军事政治学校（黄埔军校第六期）。后被编入国民革命军第二方面军总指挥部教导团。8月随队准备经九江前往南昌参加起义，途中得悉起义军已转移，9月参加毛泽东领导的湘赣边界秋收起义。虽然没能赶上南昌起义，却参加了秋收起义，和陈士渠一样，也是老井岗，可谓嫡系中的嫡系。9月19日，跟随毛泽东进军文家市，参加“三湾改编”。在井冈山曾被毛泽东选派到袁文才率领的农民自卫军，但因为没有搞好同袁文才王佐关系，毛只好将他调出袁文才的队伍。

1928年，陈伯钧因手枪走火打死了战友吕赤，准备被执行军法，对于当时缺乏军事人才的井冈山来说，刚刚失去一个黄埔四期的，再杀掉一个黄埔六期的，着实不划算。于是毛委员刀下留人，判罚打手心一百下。

朱德上井冈山后，成立红四军，原井岗山人马被改编为31团，陈伯钧任31团1营1连连长，1929年1月，红四军下山出击赣南，陈伯钧留在井冈山养伤，并协助红五军守山。井冈山失守后，陈伯钧不幸在搜山时被捕，5月被营救出狱，1930年1月，陈伯钧任红六军第一纵队参谋长。同年7月红二十军成立，陈伯钧任参谋长。1930年秋打吉安后，陈伯钧幸运地与毛泽东重逢，向毛泽东要求回红四军工作。11月，陈伯钧被任命为红三军主力第七师师长， 1932年7月初升任红十五军军长，1933年1月起任红五军团参谋长，因上书反映对在反“围剿”中的指挥错误的意见，被降为红13师师长，而他率领红13师屡克强敌，被中革军委誉为“红军坚师”。 1934年8月获二等红星奖章。1934年10月率部从兴国出发参加长征，长征途中，陈伯钧任被誉为“铁流后卫”的红五军团参谋长（军团长董振堂、政委李卓然），赢得了“铁屁股”的美誉。一、四方面军会师后，陈伯钧调任红四方面军第9军参谋长，在四方面军因反对张国焘险被“当场击毙”。二、四方面军会师后，陈伯钧调任红二方面第六军团军团长。毛曾亲笔致信陈伯钧：“伯钧同志：闻你在六军，为红军庆得干才！”

陈伯钧有文化，会写材料，受过正规军事训练会打仗，在苏区和红四时期都紧跟毛泽东，算得上军政双优加之跟毛泽东私交不错，所以毛泽东非常欣赏他。红军时期陈伯钧地位极高，是红三军主力7师师长，又是红五军团的领导人之一（参谋长），后来长征中调到过红9军，因为是毛的心腹所以坐过冷板凳，后来调任红六军团军团长。这个资历妥妥是大将的资历，而且红一，红二，红四都呆过，小山头就是红三，红五，红六，红九，再加上和毛泽东的关系，不出意外大将没跑。

抗战爆发之初，红六军团改编为359旅，陈伯钧任旅长（王震是政委），谈到著名的359旅许多人就想到王震，而其第一任旅长陈上将则被淡忘了。就在这时，发生了所谓少将旅长名片事件，此事的大致说法是：红军刚刚改编为八路军不久，一位旅长到延安见毛泽东，递上了“少将旅长”的名片。毛泽东先有三分不快。随后，毛泽东问了几个有关部队的问题，该旅长的回答令毛泽东不是很满意，于是毛泽东斥之：“什么少将芝麻酱！”这件事发生在1937年秋，后来传遍了边区。随后，毛泽东决定陈伯钧离职去调任抗日军政大学训练部部长，负责主管全校的教学工作。由此也为他在建国后到南京军事学院从事军事教学工作埋下了伏笔。直到1943年1月，陈伯钧被任命为385旅副旅长，协助王维舟旅长，驻防甘肃庆阳。

抗战胜利后，陈伯钧先从事军调工作，后又被调到军事教育和地方军区等工作，直到1948年5月，才重上战场，参与指挥长春之战，之后平津战役中，他所在的兵团执行的是包围北京的任务，敌人再次不战而降。直到后期衡宝战役和带传奇色彩的湖南剿匪，他才算真正地独当一面，一展才华，不负“红军干才”之名。

相对前半生，陈伯钧上将算是高开低走，早期算是毛泽东的铁杆，和毛泽东关系非常密切，到延安自然如鱼得水，但少将旅长名片事件让毛很生气，加上陈上将当时也有点恃宠而骄，仗着和毛泽东关系好，做事有点没分寸，比如张口闭口称毛泽东为“老毛”，又比如干涉毛泽东婚事，对毛泽东缺乏足够的尊重，从此陈上将的生涯就坎坷起来了。干过教育，干过地方，干过参谋，但基本都是副职。这让陈上将的出镜率大为降低，也变成了一个不那么有名的上将了。解放战争后期只能接任黄永胜（又一个老井岗）当45军军长。

建国后，陈伯钧在完成湖南剿匪任务后来到南京，辅佐刘伯承建设南京军事学院。1955年虽然被授予上将，但始终没有担任重要职务，加之陈伯钧性格耿直冲动，可能被抓到些小辫子，1958年和1966年以后都受到冲击。值得安慰的是，陈上将在1962年9月接任高等军事学院院长，这原来是元帅担任的职务，1974年2月6日在陈伯钧在北京病逝