如果您在加拿大居住多年后计划申请日本无犯罪证明，需要准备以下材料：
1. 有效护照：您需要提供有效的护照作为身份证明。
2. 申请表格：您需要填写日本无犯罪证明的申请表格。这些表格可以从日本领事馆或大使馆获取。
3. 居住证明：您需要提供加拿大的居住证明，例如租房合同、水电费账单或银行对账单。
4. 照片：您需要提供2-3张护照尺寸的照片。
5. 授权书：如果您委托其他人代办申请，您需要提供代办人的授权书。
6. 相关费用：您需要支付申请日本无犯罪证明的相关费用，具体金额可咨询日本领事馆或大使馆。
请注意，以上材料仅供参考，具体要求可能根据个人情况和日本领事馆的要求有所变动。建议您提前咨询日本领事馆或大使馆，以确保您提供了正确的材料并了解最新的申请程序。