一九〇二年三月二十四日，鲁迅和陆师学堂另几位同学一道，在学堂总办的带领下，登上了停泊在南京长江码头的日本客轮，开始了赴日留学的旅途，四月四日到达横滨。从此后，鲁迅开始了他的新的读书生涯。
日本，自明治维新以后，迅速崛起。一八九四年，甲午战争的失败，使一贯被大清王朝视为“弹丸之国的日本，成为清政府留学日本时摄（1903）的某种清醒剂。在屈辱中，似乎明白了些什么。于是，就有了派留学生到日本学习的热潮。鲁迅到日本留学时，日本是世界上最大的中国留学生之邦。鲁迅后来说过：“不知道为了觉得与其拜着孔夫子而死，倒不如保存自己们之为得计呢？还是为了什么，总而言之，这回是拼命尊孔的政府和官僚先就动摇起来，用官帑大翻起洋鬼子的书籍来了。尤其是义和团失败后，“政府就又以为外国的政治法律和学问技术颇有可取之处了。我的渴望到日本去留学，也就在那时候。到日本后，鲁迅并没直接进入专业学校，而是被安排进了弘文学院，这是一所专门为中国留学生设立的学习日语和基础课的预备学校。鲁迅在一些文章中曾回忆他初到日本时的一些学习情况：“入学的地方，是嘉纳先生所设立的东京的弘文学院；在这里，三泽力太郎先生教我水是养气和氢气所合成，山内繁雄先生教我贝壳里的什么地方其名为‘外套。显然，除了学习日语，这所学院还教一些自然科学的基本知识。但此时的鲁迅，刚好二十过一点，正是精力旺盛的时期，求知欲望本来就很强烈，尤其是当时日本是中国改良派和新的革命派的集中地，向往革命的热情也相当高涨。所以鲁迅说：“凡留学生一到日本，急于寻求的大抵是新知识。除学习日文，准备进专门的学校之外，就赴会馆，跑书店，往集会，听讲演。除了参加当时留学生的活动和一些革命活动外，此时的鲁迅，是真正一心扑在读书上，他像蜜蜂一样，在书丛中飞翔；又如海绵，拼命汲收各种知识。
在这里，他打下了深厚的日文基础，并还学习了英文，为日后翻译作品，利用外语作为人生斗争的武器打下了扎实的基础。鲁迅在南京水师堂学过一段时间英语，在矿路学堂学过德语，但也只是打下了一点基础。在弘文及日后的几年中，他始终坚持学习外语，为他打开西方知识宝库之门，装备了有用的钥匙。据沈瓞民回忆：“当时鲁迅在弘文学习日语，是比较紧张的……有很多时间，鲁迅已涉猎欧美和日本的书籍，边学习日语，边翻译。信中所说：‘《英文典》至今尚无人来取。由此可证他当时还习英语的。他那时虽外文根底有限，但兴趣极高。弘文学院结束后，在仙台医学专门学校，又学了两年德文，以后还学过俄文。
对他的外语学习，周作人曾有过总结：“矿路学堂因为是用中文教授的，所以功课中独缺外国语这一门。这一个缺陷是他后来在日本，自己来补足的。他当初进了仙台的医学专门学校，那里学的是德文，第二学年末了退学后，他在东京继续自修，后来便用这当惟一的工具。译出了果戈理的《死魂灵》等许多世界名著。日本语他也学得很好，可是他不多利用，所译日本现代作品，只有在《现代日本小说集》中夏目漱石等几个人的小说而已。他也曾学过俄文，1906年春夏之交，同了陶望潮许季弗等一共六个人，去找亡命东京的马利亚孔特夫人教读，每人学费六元，这对每月收入三十三元的官费留学生未免觉得压手，所以几个月后就停止了。那时所用教本系托教师从海参崴去买来，每册五十戈比，书名可以叫做《看图识字》吧，是很简单的一种本子。事隔五十年，不意至今保存，上有鲁迅亲笔注上的小字，现存放在‘故居，大家还可以看到。
弘文时期及后来从仙台医学专门学校退学后，是他广泛阅读西方文学名著、大量阅读被压迫民族文学作品的时期，深厚的外国文学修养，使他为成为伟大的文学家开阔了视野，积累了丰富的思想和艺术资料，为开创新的中国现代文学作了扎实的准备。在这时，他边读外语，边读外国文学作品。他读海涅，读拜伦的诗，看希腊、罗马神话，阅读尼采的传记，读《世界文学史》，等等；他钟情俄国现实主义文学，尤其是他利用各种方法，去找寻那些求自由争解放的弱小国家的文学作品：匈牙利的、芬兰的、波兰的、捷克的、南斯拉夫的、保加利亚的；自然他也读日本文学，他特别喜欢日本夏目漱石的《我是猫》这部长篇小说；他对那些具有反抗性格的作家的作品也十分热爱，像易卜生、雪莱等人；至于俄罗斯文坛上的屠格涅夫、托尔斯泰、契诃夫、果戈理、莱蒙托夫、普希金等，也是他始终关注的对象，对他后来的思想和创作都发生过不同程度的影响，而俄国象征主义作家安特莱夫和被现代派视为开山祖的陀斯妥也夫斯基，更是他钦佩的，对后来影响甚大。
在日本留学期间，他究竟读了多少书，是很难作出推断的，但从他在几年之后写的《摩罗诗力说》中，所提到的作家来看，他读文学书非常多，下过真工夫，阅读的范围也很广。
哲学书，也是他阅读的兴趣所在。在南京时，他读过严复译的《天演论》，了解了进化论的哲学意义，但他对进化论本身的认识还是比较肤浅的。到日本后，学习了日文，他读了日本人丘浅治郎的《进化论讲话》，比较清楚地理解了进化论的科学意义和哲学意义。从鲁迅所著的《文化偏至论》来看，他对欧洲哲学史上的重要人物的著作都有所接触。在这篇文章中，他介绍了尼采，至少读过尼采的传记及其所著的《查拉图斯特拉如是说》，并涉猎了以尼采、叔本华为代表的唯意志论哲学、斯蒂纳为代表的唯我论哲学；他分析介绍了黑格尔一派哲学，称他们为“神思一派。此外，该文还涉及到了存在主义哲学的先驱克尔凯郭尔以及欧洲哲学史、思想史上著名人物苏格拉底、沙弗斯伯利和卢梭、席勒的学说。在《破恶声论》中，他还对宗教哲学作了分析和介绍，既有基督教的，也有佛教的。可以想见，对这些哲学家及学说的作品，不作较认真的阅读与了解，就不可能有自己的认识和见解。
据许寿裳回忆：“鲁迅在弘文时，课余喜欢看哲学文学的书。他对我常常谈到三个相关联的问题：一、怎样才是理想的人性？二、中国国民性中最缺乏的是什么？三、它的病根何在？这可见当时他的思想已经超出于常人了。后来，他又谈到志愿学医，要从科学入手，达到解决这三个问题的境界。从人性角度思考问题，与他从西方哲学和文学，尤其是从文艺复兴以来的西方哲学、文学的书籍中，吸取思想的养料关系十分密切。鲁迅从早年开始一直到生命的晚年，批判民族的劣根性，探讨中国的理想人性，其思想的来源主要源自西方，特别是十九世纪欧洲的哲学与文学。他前期思想中的新必定胜于旧、幼一定强于长、年轻的一定超过老的等思想，以及激烈主张破旧立新的变革意识，都是进化论思想的直接反映。重个人，重精神，轻物质，提倡反抗偶像，鼓吹争天拒俗的精神，与尼采等人的唯意志哲学、与西方文艺复兴时期以来的个性解放思潮，有着天然的联系。他倡导的“意力与主观哲学，崇奉的“迕万众不慑之强者的人格精神，与尼采的“超人具有精神的相通性；至于他批判的“庸众，批判的麻木愚昧的国民，跟尼采笔下的“末人形象也有相当程度的相似性。他之所以对中国传统种种痼疾痛下针砭，与“重新估定一切价值的思想，与十九世纪在欧洲兴起的“反抗为本的思想，发生着紧密而清晰的关系。他从这些人的书中，获得了批判的勇气和武器，似乎他找到了剖析中国社会和文化的解剖刀。在他看来，这些哲学家，文学家的理想，就代表了中国的出路和发展方向。虽然从今天看来，他的观点和思想不失偏激与片面，但我们可以看到他寻求知识的历程，可以了解他在那时读书的情形。不读书，不去寻求新的知识，鲁迅也就不会有超出同时代人的眼界和思想的深刻性，也没有他思想的独异和创造性。从鲁迅一生来看，东京几年的留学，是他打下西方哲学和文学深厚基础的时期。此外，在自然科学的知识和训练方面，在科学精神的培养方面，这时期无疑也是至关重要的。
从学医到从文
一九〇四年四月，鲁迅在弘文学院毕业。面临着读什么学校的选择，鲁迅经过了认真严肃的考虑。本来，鲁迅他们被送往日本，按两江总督的打算，是在语言学校毕业后，升入东京帝国大学工科所属的采矿冶金科。但当时东京帝大负有盛名，日本和中国留学生都希望进入该校，竞争自然激烈，而日本当局又暗中阻挠中国留学生进入该校，防止抢占日本学生的位置。对此情况很了解的弘文学院的教师江口先生，因他平素对中国学生相当关心，于是劝鲁迅和他的同学改入医校，并向他们介绍了日本医学当时在世界上几乎与最发达的德国差不多的事实，加之医学院校较多，名额也多，竞争也就不太激烈。江口先生的话，触动了鲁迅的思想。这大概是鲁迅选择学医的重要理由。实际上理由不止这一端。鲁迅在后来有过说明：“我还记得先前的医生的议论和方药，和现在所知道的比较起来，便渐渐的悟得中医不过是一种有意的或无意的骗子，同时又很起了对于被骗的病人和他的家族的同情；而且从译出的历史上，又知道了日本维新是大半发端于西方医学的事实。因为这些幼稚的知识，后来便使我的学籍列在日本一个乡间的医学专门学校里了。我的梦很美满，预备卒业回来，救治像我父亲似的被误的病人的疾苦，战争时候便去当军医，一面又促进了国人对于维新的信仰。那么他为什么选择了仙台医学专门学校，而没有选东京或较近的医学院校呢？这也不是无端的。当时的留学生中，勤奋努力立志学成救国救民的有之，可也有一些人只知玩乐，只图吃喝。鲁迅对此极看不惯，后来在文章中有过回忆：“东京也无非是这样。上野的樱花烂熳的时节，望去确也像绯红的轻云，但花下也缺不了成群结队的‘清国留学生的速成班，头顶上盘了大辫子，顶得学生制帽的顶上高高耸起，形成一座富士山。这是白天的情形。一到傍晚，整个中国留学生会馆里，看书的人就更少了，“有一间的地板常不免要咚咚地响得震天，兼以满房烟尘斗乱；问问精通时事的人，答道，‘那是在学跳舞。更有甚者，有的人并不想好好念书，只是租了房子，关起门来炖牛肉吃。他在后来的一篇文章中提到了这事：“现在的留学生是多多，多多了，但我总疑心他们大部分是在外国租了房子，关起门来炖牛肉吃的，而且在东京实在也看见过。那时我想：炖牛肉吃，在中国就可以，何必路远迢迢，跑到外国来呢？虽然外国讲究畜牧，或者肉里面的寄生虫可以少些，但炖烂了，即使多也就没有关系。所以，诚如周作人指出的：“本来在千叶和金泽地方，也都设立有医学专门学校，但是他却特地去挑选了远在日本东北的仙台医专，这也是有理由的。因为他在东京看厌了那些‘富士山们，不愿意和他们为伍，只有仙台医专因为比千叶金泽路远天冷，还没有留学生入学，这是他看中了那里的惟一理由。就这样，鲁迅怀着医学救人救国的理想，抱着远离留着长辫又不学无术的“富士山的心理，于一九〇四年九月间，来到了仙台医专，开始了他的又一轮学习生活。
在仙台的学习是紧张的，但鲁迅也是自信的。进仙台医专不久，他给好友蒋抑卮写信，讲述了当时的情况：“校中功课大忙，日不得息。以七时始，午后二时始竣。树人晏起，正与为仇，所授有物理，化学，解剖，组织，独乙（引者按——日语：德意志。此处指德语。）种种学，皆奔逸至迅，莫暇应接。组织、解剖二科，名词皆兼用腊丁（按：现通译拉丁，此处指拉丁语。），独乙，日必暗记，脑力顿疲。幸教师语言尚能领会，自问苟侥幸卒业，或不至为杀人之医。解剖人体已略视之。树人自信性颇酷忍，然目睹之后，胸中亦殊作恶，形状历久犹灼然陈于目前。……校中功课，只求记忆，不须思索，修习未久，脑力顿锢。四年而后，恐如木偶人矣。在信中，还谈到了在与日本学生的接触中，增强了自信，他说：“近数日间，深入彼学生社会间，略一相度，敢决言其思想行为决不居我震旦青年上，惟社交活泼，则彼辈为长。以乐观的思之，黄帝之灵或当不馁欤。这是鲁迅的自信，也是中国人的自信，从而使他坚信，中国人并不比其他人种差，一定会创造出新的伟业。
更使鲁迅感到欣慰的，他碰到了一位好老师：藤野先生。
这是一位对学生要求严格而又和蔼可亲的老师。在教鲁迅他们骨科学时，他每星期都要检查鲁迅的听课笔记，增补鲁迅漏记的内容，改正解剖图的错误，甚至语法错误也一一加以纠正。有一次，鲁迅上血管学时，将一条血管的位置画得与实际偏移了一点，被藤野先生发现了，把鲁迅叫去了，向鲁迅和蔼的说道：你看，你将这条血管移了一点位置了。——自然，这样一移，的确比较的好看些，然而解剖图不是美术，实物是那么样的，我们没法改换它。现在我给你改好了，以后你要全照着黑板上那样的画。但是此时的鲁迅虽然口里答应，内心仍不服气：“图还是我画的不错；至于实在的情形，我心里自然记得的。
藤野先生严谨的治学态度，诲人不倦、循循善诱的育人品德，对鲁迅后来的治学、创作和人格的形成，是有影响的。当鲁迅从医专退学时，藤野先生送了一张照片给鲁迅，后面题着“惜别两字。这张照片后来长期挂在鲁迅在北京的工作室的墙上，书桌的对面。“每当夜间疲倦，正想偷懒时，仰面在灯光中瞥见他黑瘦的面貌，似乎正要说出抑扬顿挫的话来，便使我忽又良心发现，而且增加勇气了，于是点上一枝烟，再继续写些为‘正人君子之流所深恶痛疾的文字。所以鲁迅说，“在我所认为我师的之中，他是最使我感激，给我鼓励的一个。有时我常常想，他的对于我的热心的希望，不倦的教诲，小而言之，是为中国，就是希望中国有新的医学；大而言之，是为学术，就是希望新的医学传到中国去。他的性格，在我的眼里和心里是伟大的，虽然他的姓名并不为许多人所知道。直到晚年，鲁迅还深深怀念着这位老师。一九三五年，增田涉和佐藤春夫为日本岩波文库翻译《鲁迅选集》，问鲁迅希望选入哪些文章，鲁迅说，一切随便，但希望把《藤野先生》选进去。
在仙台学校的第一年，鲁迅的学习是刻苦勤奋的，终于获得了升级的资格。根据鲁迅当时的同班同学小林茂雄博士保留的一九〇五年春季鲁迅升级考试的成绩单，知道鲁迅各科成绩如下：
解剖：五十九点三分；
生理：六十三点三分；
组织：七十二点七分；
伦理：八十三分；
德文：六十分；
物理：六十分；
化学：六十分。