芝罘岛在今山东烟台市北。芝罘岛与烟台山隔海相望。四面环海，一径南通，其形状似灵芝。
秦始皇五次出巡中，其中有三次登上芝罘岛。
前219年，秦始皇第一次登上芝罘岛。《史记》记载秦始皇“于是乃并勃海以东，过黄、腄、穷成山，登芝罘，立石颂秦德焉而去”。秦始皇离开泰山后，沿着渤海向东行进，经过了今山东黄县东、福山县，登上成山头，然后到达烟台。
秦始皇“乃并勃海以东”，是他生平以来第一次见到大海。关于大海，他只是通过文字有所了解。《史记》记载：“自齐威、宣之时，邹子之徒论著，终始五德之运，及秦帝而齐人奏之，故始皇采用之。”邹衍除“始终五德之运”外，还有“大九州说”。这个学说认识到海外地区的广大，因此它认为：“中国名曰赤县神州。赤县神州内自有九州……中国外如赤县神州者九，乃所谓九州也，于是有裨海环之。人民禽兽，莫能相通者，如一区中者，乃为一州。如此者九，乃有大瀛海环其外，天地之际焉。”秦始皇看到真正的大海，一望无际，朝晖夕阳，气象万千的情景后，可能会想到“大九州说”在“中国外”的海上并没有全部实现。琅邪刻石“六合之内，皇帝之土。南涉流沙，南尽北户。东有东海，北过大夏”几句铭文表明“皇帝之土”不是东到大海，而是“东有大海”。东到大海，指国界至大海。“东有大海”，则指疆土包括大海在内。
前218年，秦始皇第二次登上芝罘岛。登岛前，他在阳武县境内的博浪沙遭到袭击。《史记》记载：“秦始皇东游，良与客狙击秦始皇博浪沙中，误中副车。秦始皇大怒，大索天下，求贼甚急，为张良故也”，“求弗得，乃令天下大索十日。”
阳武在今河南原阳县东南，古黄河流经县城北。位于今河南北部，黄河下游西段北岸。县城东南曾有博浪城，传说为张良派遣力士椎击秦始皇处。博浪沙，一作博狼沙，位于韩、魏两国交界的黄河故道。这里虽然没有高山密林，但却是沙丘起伏，一片荒凉。根据地形分析，刺客可能是藏在沙丘的后面，当车队经过时，突然窜出来，将手中的铁锥掷向秦始皇的副车。
张良出身韩国贵族。韩国被秦国灭亡后，他变卖了全部资产，在天下寻找刺客。后来协助汉高祖刘邦灭秦兴汉，封为留侯。传说张良袭击秦始皇失败后，藏身于今河南原阳县城关镇东19公里处，后人称此地为“留侯村”。张良晚年隐居在河南兰考县城西6公里处的白云山，死后葬此。张良坟东北有留侯庙。
传说秦始皇在博浪沙遭袭击后，曾在秦朝的户牖乡，即今河南兰考县东北遇到了大雾。嘉靖年间《兰阳县志》记述：“秦始皇二十九年，东游至阳武户牖乡，名其地为东昏”，“东昏故城，在汴州陈留东北九十里，昔秦始皇东游至此，昏雾四塞不能进，故以其地曰东昏，汉初置县，因以名之。”
秦始皇第二次登芝罘时，分别在岛的东、西两端立下两块刻石，俗称“两观”刻石，为了有所区别，分别称为“芝罘刻石”和“芝罘东观刻石”。
“芝罘刻石”铭文除继续宣扬秦统一六国的丰功伟绩，侧重揭露“六国回辟，贪戾无厌，虐杀不已”的罪行，对他们的复辟企图提出严重警告。芝罘刻石铭文共145字。除首句“维二十九年”、末句“表垂于常式”及感叹句“大矣哉”为五言、三言外，其余均每句四言，三句一韵，六句一段，形成六段、十二韵、三十六句的格式。
原文 译文
维二十九年 始皇二十九年
时在中春 此时正值仲春
阳和方起 阳和之气升起
皇帝东游 秦始皇帝东游
巡登芝罘 巡视芝罘之岛
临照于海 观览大海风光
从臣嘉观 从臣赞美此行
原念休烈 颂扬伟大事业
追诵本始 追颂创始之功
大圣作治 圣君创立治道
建定法度 着手制定法度
显著纲纪 显著纲常法纪
外教诸侯 对外以教诸侯
光施文惠 施以光明文德
明以义理 阐明意义道理
六国回辟 六国之君奸邪
贪戾无厌 贪婪财物无厌
虐杀不已 虐杀行为不止
皇帝哀众 皇帝哀怜民众
遂发讨师 发动讨伐之师
奋扬武德 仗义奋扬武德
义诛信行 守信而行天下
威燀旁达 威风光烈四方
莫不宾服 天下无不臣服
烹灭强暴 坚决消灭强暴
振救黔首 拯救黎民百姓
周定四级 普遍安抚四方
普施明法 全面实施明法
经纬天下 用法治理天下
永为仪则 永为仪表法则
大矣哉 伟大啊
宇县之中 环宇内赤县中
承顺圣意 无不顺承圣意
群臣诵功 群臣齐声歌颂
请刻于石 请求于此立石
表垂于常式 表率永为典范
“芝罘东观刻石”铭文语气显得相对和缓，“昭临朝阳”、“观望广丽”等铭文，表达的是春游芝罘、东观大海的一种愉悦心情。芝罘东观刻石铭文亦是每句四言，三句一韵，六句一段，形成六段、十二韵、三十六句的格式。
原文 译文
维二十九年 始皇二十九年
皇帝春游 皇帝春季出游
览省远方 视察远方疆域
逮于海隅 到达大海之滨
遂登芝罘 遂即登上芝罘
昭临朝阳 欣赏升起朝阳
观望广丽 望及广阔绚丽
从臣咸念 臣子都在思念
原道至明 推究治道显著
圣法初兴 圣法初始实行
清理疆内 对内清理隐患
外诛暴强 对外诛戮强暴
武威旁畅 军队威风普扬
震动四级 震动天下四方
禽灭六王 擒灭关东六王
阐并天下 从此天下统一
灾害绝息 灾害战争绝灭
永偃戎兵 永远偃旗息鼓
皇帝明德 皇帝明智仁德
经理宇内 经营治理天下
视听不怠 视听不能怠慢
作立大义 创立伟大义理
昭设备器 设置完备器物
咸有章旗 标记十分明显
职臣遵分 大臣各遵本分
各知所行 各知所行职责
事无嫌疑 事情没有嫌疑
黔首改化 百姓移风易俗
远迩同度 远近同一法度
临古绝尤 到老绝少罪尤
常职既定 常设职事确定
后嗣循业 子孙遵循做事
长承圣业 永远继承伟业
群臣嘉德 群臣齐声赞美
祗诵圣烈 皇帝伟大功业
请刻芝罘 请求刻石芝罘
前210年秦始皇南巡返还时，第三次到了芝罘岛。秦始皇梦见与海神交战，海神像人一样。秦始皇询问占梦者，博士说：“水神不可见，以大鱼蛟龙为候。今上祷祠备谨，而有此恶神，当除去，而善神可致。”于是秦始皇命令入海的人携带大量鱼具，并亲自拿着连弩等候大鱼出来射它。结果从琅邪向北到达成山头，也没有见到大鱼。而是“至芝罘，见巨鱼，射杀一鱼”。
岛上有“射鱼台”遗址，相传为秦始皇当年射杀大鱼之处。