不太清楚题主说的领导布置的任务是什么任务，如果是和工作相关的，应该不会牵扯到其他，因为是工作本职，你也应该尽力去完成。如果是和工作不相关的，你可以和领导说明，在保证本职工作完成的前提下再去做。如果因为这些事情耽误本职工作，可能领导依旧会认为是能力问题。