batch_size: 128 사용

주기적으로 튀면 binary gate reset할때, outlier 제거 후 평균 아니면 outlier 안쓰고 바로 중간값. 중간값을 쓰는 이유는 우리가 몇 퍼센트 정도가 튀는지 알지 못하고 outlier를 심하게 제거하면 남는 값이 별로 없으므로 outlier 제거하지 않는 상태에서 중간값 써도 하나도 큰 오차 없을 거라는 생각임. (ops latency해서 해봄) 또는 40%위치에 있는 친구 사용 (보통 위로 튀니까)

EXPERIMENT

파란색: 작게 튀는 값

빨간색: 크게 튀는 값

<aside> 💡 inner total time과 ops들은 튈때 항상 같이 튀긴 한다. 하지만 주기적으로 튀는 지는 잘 모르겠음

</aside>

별 차이 없음