众所周知，隋唐中国让日本顶礼膜拜，而对于明中国，日本却立而不拜。明太祖朱元璋登大宝之初，就对日本马上做了一件事——派使臣向日本下国书。希望他们来朝拜新中华之主。但是，使臣到达日本后，令朱元璋惊呆的事发生了。洪武元年，他派永嘉侯朱亮祖镇守广东，在沿海要地设置卫所，派兵防守，同时发国书给日本诸国（当时日本正处于分裂的“南北朝”时期）表达了自己希望与日本诸国建立睦邻友好关系，一起消灭倭寇，共享太平之福的愿望。但当时的日本幕府将军足利义诠以“倭寇乃九洲海贼所为，日本政府根本就不知道”为由予以搪塞。
洪武二年，着眼于长远利益的朱元璋又派杨栽等七人出使日本，并亲自写了一封措辞严厉的信威胁“倭寇”。接到信后，日本国的怀良亲王不知中国已经改朝换代，误以为依旧是蒙古使者（蒙古曾攻打日本），大怒，斩杀使者五人，其他的悉数扣留，朱元璋的这一次交涉毫无成果可言。洪武三年三月，不死心的朱元璋又派莱州府同知赵秩等再次出使日本。赵秩经过一番惊险的周旋和唇枪舌剑后，终于软化了怀良亲王的立场。怀良亲王派和尚祖来捎带了大量的贡马和土特产向明朝“奉表称臣”，而且还送还了之前被倭寇抓去的中国人。明太祖曾召见来华的日本僧人，才了解到一直以来与之打交道的怀良亲王并非日本国王，而博多、太宰府亦非日本之京城，并知道了在京都另有朝廷和天皇。他开始对自己原先计划通过外交途径敦促日本抑制倭寇侵扰的做法感到怀疑，从此对一切非日本朝廷派来的贡使一概拒绝接受。
洪武十三年，日使再次来贡，情况同前几次一样也是没有表文，但带了一封日本征夷将军源义满的奉丞相书，文章写得极其嚣张，朱元璋看后很不开心，便拒绝了日本的朝贡。洪武十四年日本再次来贡，朱元璋又一次推却，并让礼部写了一封信责备日本国王和他们的那个征夷将军：“王居沧溟之中，传世久长，今不奉上帝之命，不守己分，但知王环海为险，限山为固。妄自尊大，肆毁邻邦，纵民为盗。上帝将假手于人，祸有日矣。吾奉至尊之命，移文与王。王若不审巨微，效井底蛙，仰观镜天，自以为大，无乃构嫌之源乎？”。
日本方面不甘示弱，也回了一封极其强硬的信，而且文采斐然：“臣闻三皇立极，五帝禅宗，惟中华之有主，岂夷狄而无君。乾坤浩荡，非一主之独权，宇宙宽洪，作诸邦以分守。盖天下者，乃天下之天下，非一人之天下也。臣居远弱之倭，褊小之国，城池不满六十，封疆不足三千，尚存知足之心。陛下作中华之主，为万乘之君，城池数千余，封疆百万里，犹有不足之心，常起灭绝之意。夫天发杀机，移星换宿。地发杀机，龙蛇走陆。人发杀机，天地反覆。昔尧、舜有德，四海来宾。汤、武施仁，八方奉贡……”
朱元璋看了这封表文大怒，史载“帝得表愠甚”，但考虑到元朝两次出征日本损兵折将的前车之鉴，朱元璋忍住了这一口恶气。虽然如虎将李文忠者也曾建议朱元璋征日本以雪前恨，但朱元璋在深思熟虑之后还是没有率领大明朝的舟师东渡。不过这一件事后，朱元璋改变了以往企图交好日本的策略，而改为在内部积极设防，在沿海各地加强防守和卫所建设等，尽量减少倭寇造成的损失。最后他以日本支持胡惟庸造反为由，于1387年（洪武二十年）果断地断绝了跟日本的往来。把日本列为“不庭之国”，永远不准日本来中国贸易，并把这写入了传给后世子孙万世不变的《皇明祖训》中。