同治六年(1867年),福建船政学堂招收首届学生,林泰曾应考入选,进后学堂学习驾驶。在堂学习期间,“历考优等”。十年(1871年)五月,堂课卒业,派登“建威”号练习舰实习,先后巡历北洋各口及香港、新加坡、槟榔屿、小吕宋各埠。十三年(1874年),奉派赴台湾后山测量港道,旋任“安澜”号兵船枪械教习,年底调充“建威”号练习舰大副。
光绪元年(1875年),沈葆桢派福建船政洋监督日意格赴欧洲购办船用器械,并随带后学堂毕业生刘步蟾、林泰曾及3名前学堂毕业生出洋游历学习。时,林泰曾已积功擢守备,加都司衔,旋保以都司留闽补用。翌年初,入英国高士堡海军军官学校深造,并计划随后上英国军舰实习。不久,国内召回日意格,林泰曾等只得中断学习,随同回国。是年冬,中国正式派遣第一批学生出洋学习海军,林泰曾亦在其中。同年,上英国地中海舰队“孛来克柏林”(H.M.S.Black Prince)号铁甲舰实习,后有改上“潘尼洛布”(H.M.S.Penelope)、“阿其力”(H.M.S.Achilles)及“威灵顿”(H.M.S.Willington)等舰实习,巡历了大西洋、地中海等处,学习设法、备战、布雷、枪炮等技术。署留学生洋监督斯恭塞格称赞其“知水师兵船紧要关键,足与西洋水师管驾官相等”,堪以重任,“不但能管驾大小兵船,更能测绘海图、防守港口、布置水雷”,是最为出色的学生。
五年(1879年)冬,学成归国,林泰曾与同学刘步蟾一起将留学心得写成《西洋兵船炮台操法大略》。是年底,李鸿章、沈葆桢会同闽浙总督联衔奏保,以林泰曾“沈毅朴诚”、“学业有成”,荐升游击,留闽省尽先补用,并赏戴花翎。
光绪六年(1880年),调赴北洋,管带“镇西”号。年底,奉派赴英国接收“超勇”、“扬威”号巡洋舰。翌年驾驶回国,因接舰有功,赏果勇巴图鲁勇名,免补游击,以参将补用,充“超勇”管带。
八年(1882年)夏,朝鲜发生“壬午之变”,清政府派水陆两军赴朝,以防日本趁机扩大事态。林泰曾率“超勇”舰随同前往,驻守仁川,使日军未敢轻举妄动。事后,经李鸿章奏请,清廷以林泰曾援护朝鲜有功,着免补参将,以副将尽先补用。十年(1884年),中法战争爆发,“超勇”、“扬威”两舰奉命南下援救台湾。行至上海,朝鲜发生“甲申事变”,林泰曾等奉命率舰北返,迅速开赴朝鲜马山浦,平定朝鲜政变,并防御日本。翌年,兼办北洋水师营务处。
十二年(1886年)初,李鸿章为新购的铁甲舰配备官兵,以林泰曾充“镇远”舰管带。十四年(1888年)四月,奉召赴天津,会同周馥、罗丰禄等议订《北洋海军章程》。奏呈清廷批准,北洋海军正式成军。林泰曾为北洋海军左翼总兵,兼带“镇远”舰,加提督衔。
林泰曾“性沉默,寡言笑,存心慈厚,能忍人之所不能忍”,管带军舰,“用人信任必专,待下仁恕,故临事恒得人之力”。沈葆桢赞他“深通西学,性行忠谨”。自入北洋以来,频年巡历重洋,驾驶操练均极勤奋,为创建北洋海军出力颇多,李鸿章称他“资深学优”。先后两次随北洋海军出访日本,给日本海军界留下了极深刻的印象,称他是中国海军的“宝刀”。
二十年(1894年),朝鲜爆发东学党起义,朝鲜政府请中国出兵代为镇压。李鸿章派遣海陆军赴朝,日本政府也同时派兵入朝。李鸿章又增派林泰曾统率“镇远”等3舰赴朝鲜仁川,以增强在朝海军实力。五月二十二日,林泰曾致电李鸿章,以战争一触即发,请饬北洋海军大队备战候进,并请调南洋军舰北上。次日,又电李鸿章,认为仁川泊船,“战守均不宜,拟以一二船驻仁探信,余船驻牙备战守”。李鸿章转询丁汝昌的意见,丁汝昌认为,水陆添兵必须大举,如果只是零星调往,有损无益,因此主张将“镇远”等舰调回,在威海齐作准备,以待主力决战。李鸿章回电同意,“镇远”等舰遂返回威海备战。
六月二十三日,日本海军在朝鲜丰岛海面偷袭中国军舰及运兵商船,挑起了甲午战争。八月十八日,中日两国海军主力在鸭绿江口大东沟附近海面遭遇,展开了激战。临战前,林泰曾下令卸除舰上的舢板,以示“舰存与存,舰亡与亡”。海战自中午12时50分打响,林泰曾指挥“镇远”沉着应战,与旗舰“定远”紧密配合,重创日舰“西京丸”。战至下午3时左右,“定远”舰艏中弹起火,并遭受日本第一游击队4舰的聚攻,形势异常危机。林泰曾急指挥“镇远”上前掩护,使“定远”得以扑灭大火,转危为安。下午3时20分以后,原战场上只剩下“定远”、“镇远”2舰与日本本队5舰厮杀。在日舰炮火的猛烈攻击下,“镇远”致伤上千处,但仍一面救火,一面抵敌。由于“镇远”与“定远”配合默契,最终顶住了5艘日舰的围攻,并将日本旗舰“松岛”击成重伤,完全丧失了指挥和战斗能力。下午5时30分,日本舰队首先撤离战场,海战结束。战后论功,林泰曾被赏换霍伽助巴图鲁勇名。