根据我的了解，如果您是在加拿大居住多年并持有加拿大身份，想要申请日本的无犯罪证明，您一般不需要提供加拿大的犯罪记录。因为加拿大和日本之间并没有明确的协议要求提供犯罪记录。然而，我仍然建议您在具体申请前向日本领事馆或使领馆咨询询问相关要求。
在某些情况下，如果您申请签证或特定工作许可，日本可能会要求您提供无犯罪记录证明。此时您可以向加拿大警察局申请个人无犯罪记录证明，该证明是由加拿大联邦警察和加拿大全国警察局协会共同出具的。您可以向相关机构咨询具体的申请程序和材料要求。
总之，如果您在加拿大只是居住多年，并没有申请签证或特定工作许可的需要，一般情况下不需要提供犯罪记录才能申请日本的无犯罪证明。但出于确保准确信息的目的，还是建议您在申请前向相关日本官方机构咨询确认要求。