相传早在商代就开始用牛驾车，郭沫若先生根据甲骨文“犁”字初文的象形，提出商代已出现牛耕。
更多学者比较赞同在春秋时期开始使用牛耕的观点。如当时的居民在起名字时，往往把牛和耕连在一起：孔子弟子冉耕字伯牛，司马耕字子牛，晋国大力士姓牛名子耕；还有“犁牛之子骍且角”（《论语·雍也》）这样“犁”和“牛”连用的句子。《国语·晋语》记载：“宗庙之牺，为畎亩之勤（原来在宗庙中用于祭祀的牲口，现在已经成为田里工作的主要力量）。”以上都证明在春秋时期，牛耕已为人所熟知。
春秋战国时期牛耕开始在东方出现。商鞅变法后，史书记载“秦以牛田，水通粮”（《战国策·秦策》），秦国也普遍使用牛耕。商鞅为了发展农业，规定：“盗马者死，盗牛者加。”（《盐铁论·刑德》）秦简上记载：各县对牛的数量要严加登记。如果由于饲养不当，一年死三头牛以上，养牛的人有罪，主管牛的官吏要受惩罚，县丞和县令也有罪。如果一个人负责喂养十头成年母牛，其中的六头不生小牛的话，饲养牛的人就有罪，相关人员也要受到不同程度的惩处。畜力与铁器的结合给精耕细作提供了条件，当时人们已经力求“耕者且深”，并已经注意识别土壤，因地制宜，农业因此得到了一定程度的发展。
西汉初年，牲畜比较缺乏，连天子出行都很难凑齐四匹毛色相同的马。一般农民只得用人力耕作。为了促进耕畜繁殖，汉政府下令禁止宰杀耕牛，规定杀牛、盗牛者受重刑。到汉武帝时期，在黄河流域牛耕逐渐盛行起来。
牛耕技术在东汉得到普遍推广。史书记载，当时的九真郡太守、庐江太守教百姓用犁耕，使粮食产量大幅度提高，出现了“垦辟倍多，境内丰给”的景象。这一时期，耧播技术传入河西，使河西成为“富甲天下”的地方。嘉峪关市境内发现的魏晋时期古墓葬中，出土有多块《牛耕》画像砖，佐证了当时河西地区使用牛耕技术已很普遍。除了一牛挽犁和二牛挽犁之外，耕种后的覆土填埋及平田碎土，均用畜力完成，这就是牛拉的“耙”。“耙”一面有齿，可碎土，翻面即可耱地，埋压种子，使田地平整。至今，有些农村仍在使用。在江苏、山东、陕西、内蒙古等地也出土了很多东汉的牛耕画像图。目前，全国已有13个省区出土了汉代的铁犁铧、犁壁和犁范，说明牛耕在东汉应用广泛。
汉朝以后，铁犁牛耕得以进一步发展，成为我国传统农业的主要耕作方式。
牛耕技术在中国延续了2000多年，对中国农村的生产和生活产生了深远的影响，极大地节省了劳力，扩大了生产规模，促进了社会生产力的发展，进而推动了当时社会制度的变革。时至今日，虽然牛耕已逐渐被机械化设备所取代，但其在农业发展史上的作用依然不可忽视。
