前者なら
for(i=0;i<N=100;i++){ if(i==4) continue;
　for(j=0;j<N=100;j++){ if(j==4) continue;
　　scanf("%d",&matrix[i][j]);
　}
}

後者なら何をしたいのか分からないが
for(i=0;i<N=100;i++){
　for(j=0;j<N=100;j++){
　if(i!=4 && j!=4)
　　scanf("%d",&matrix[i][j]);
　}
}