Skip to content

Conversation

deedongala
Copy link
Contributor

@deedongala deedongala commented Jul 30, 2025

Migrate existing mi300 runners to new mi325 capacity

iree-pr-automator bot and others added 3 commits July 30, 2025 09:39
Diff:
iree-org/iree@iree-3.7.0rc20250723...iree-3.7.0rc20250725

Auto-generated by GitHub Actions using
[`.github/workflows/update_iree_requirement_pins.yml`](https://github.com/iree-org/iree-turbine/blob/main/.github/workflows/update_iree_requirement_pins.yml).

Signed-off-by: github-actions[bot] <41898282+github-actions[bot]@users.noreply.github.com>
Co-authored-by: iree-pr-automator[bot] <iree-github-actions-bot@google.com>
Signed-off-by: deedongala <deekshitha.dongala@amd.com>
This is a full re-run of tuning for forward convs. The following configs
have over a 1.5x speedup over un-tuned:
```
convbfp16 -n 16 -c 96 -H 24 -W 16 -k 96 -y 3 -x 1 -p 2 -q 0 -u 1 -v 1 -l 2 -j 2 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 -H 24 -W 16 -k 288 -y 3 -x 1 -p 1 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 3 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 96 -H 24 -W 16 -k 96 -y 3 -x 1 -p 4 -q 0 -u 1 -v 1 -l 4 -j 4 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 48 -H 96 -W 64 -k 48 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 48 -H 96 -W 64 -k 48 -y 3 -x 3 -p 2 -q 2 -u 1 -v 1 -l 2 -j 2 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 768 -H 48 -W 32 -k 2048 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -g 1 --in_layout NHWC --fil_layout NHWC --out_layout NHWC -t 1 -b 0 -F 1
convbfp16 -n 16 -c 768 -H 48 -W 32 -k 2048 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 96 -H 24 -W 16 -k 96 -y 3 -x 1 -p 1 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 96 -H 24 -W 16 -k 96 -y 1 -x 3 -p 0 -q 2 -u 1 -v 1 -l 2 -j 2 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 2048 -H 48 -W 32 -k 2048 -y 3 -x 1 -p 1 -q 0 -u 3 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 48 -H 96 -W 64 -k 48 -y 3 -x 3 -p 4 -q 4 -u 1 -v 1 -l 4 -j 4 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 2048 -H 48 -W 32 -k 2048 -y 3 -x 1 -p 1 -q 0 -u 3 -v 1 -l 1 -j 1 -g 1 --in_layout NHWC --fil_layout NHWC --out_layout NHWC -t 1 -b 1 -F 1
convbfp16 -n 16 -c 32 -H 192 -W 128 -k 40 -y 1 -x 1 -p 0 -q 0 -u 2 -v 2 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 48 -H 48 -W 32 -k 48 -y 5 -x 5 -p 8 -q 8 -u 1 -v 1 -l 4 -j 4 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 48 -H 96 -W 64 -k 48 -y 5 -x 5 -p 8 -q 8 -u 1 -v 1 -l 4 -j 4 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 576 -H 1 -W 30 -k 3 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 -H 48 -W 32 -k 288 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 128 -H 24 -W 16 -k 192 -y 2 -x 2 -p 0 -q 0 -u 2 -v 2 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 96 -H 24 -W 16 -k 96 -y 1 -x 3 -p 0 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 32 -H 192 -W 128 -k 40 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 48 -H 48 -W 32 -k 48 -y 3 -x 3 -p 2 -q 2 -u 1 -v 1 -l 2 -j 2 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 96 -H 48 -W 32 -k 192 -y 2 -x 2 -p 0 -q 0 -u 2 -v 2 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 2 -H 48 -W 32 -k 288 --fil_d 2 -y 1 -x 1 --pad_d 0 -p 0 -q 0 --conv_stride_d 2 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 1 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 96 -H 24 -W 16 -k 96 -y 1 -x 3 -p 0 -q 4 -u 1 -v 1 -l 4 -j 4 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 8 -H 48 -W 32 -k 288 --fil_d 1 -y 3 -x 3 --pad_d 0 -p 1 -q 1 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 -g 3 --in_layout NDHWC --fil_layout NDHWC --out_layout NDHWC -t 1 -b 1 -F 1
convbfp16 -n 16 -c 288 --in_d 8 -H 48 -W 32 -k 288 --fil_d 1 -y 3 -x 3 --pad_d 0 -p 1 -q 1 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 3 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 8 -H 48 -W 32 -k 288 --fil_d 3 -y 1 -x 1 --pad_d 1 -p 0 -q 0 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 3 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 192 -H 12 -W 8 -k 384 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 4 -H 48 -W 32 -k 288 --fil_d 3 -y 1 -x 1 --pad_d 1 -p 0 -q 0 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 3 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 192 -H 25 -W 1 -k 192 -y 3 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 144 -H 24 -W 16 -k 144 -y 5 -x 5 -p 8 -q 8 -u 1 -v 1 -l 4 -j 4 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 8 -H 48 -W 32 -k 288 --fil_d 3 -y 1 -x 1 --pad_d 1 -p 0 -q 0 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 -g 3 --in_layout NDHWC --fil_layout NDHWC --out_layout NDHWC -t 1 -b 1 -F 1
convbfp16 -n 16 -c 288 --in_d 2 -H 48 -W 32 -k 288 --fil_d 3 -y 1 -x 1 --pad_d 1 -p 0 -q 0 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 3 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 576 -H 48 -W 32 -k 576 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -g 1 --in_layout NHWC --fil_layout NHWC --out_layout NHWC -t 1 -b 0 -F 1
convbfp16 -n 16 -c 288 --in_d 8 -H 48 -W 32 -k 288 --fil_d 2 -y 1 -x 1 --pad_d 0 -p 0 -q 0 --conv_stride_d 2 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 1 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 1 -H 1 -W 1 -k 64 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 576 -H 24 -W 16 -k 288 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 2 -H 48 -W 32 -k 288 --fil_d 1 -y 3 -x 3 --pad_d 0 -p 1 -q 1 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 3 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 4 -H 48 -W 32 -k 288 --fil_d 1 -y 3 -x 3 --pad_d 0 -p 1 -q 1 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 -g 3 --in_layout NDHWC --fil_layout NDHWC --out_layout NDHWC -t 1 -b 1 -F 1
convbfp16 -n 16 -c 48 -H 48 -W 32 -k 48 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 4 -H 48 -W 32 -k 288 --fil_d 2 -y 1 -x 1 --pad_d 0 -p 0 -q 0 --conv_stride_d 2 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 1 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 4 -H 48 -W 32 -k 288 --fil_d 3 -y 1 -x 1 --pad_d 1 -p 0 -q 0 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 -g 3 --in_layout NDHWC --fil_layout NDHWC --out_layout NDHWC -t 1 -b 1 -F 1
convbfp16 -n 16 -c 288 --in_d 4 -H 48 -W 32 -k 288 --fil_d 1 -y 3 -x 3 --pad_d 0 -p 1 -q 1 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 --spatial_dim 3 -m conv -g 3 -F 1 -t 1 --in_layout NDHWC --out_layout NDHWC --fil_layout NDHWC --iter 100
convbfp16 -n 16 -c 48 -H 48 -W 32 -k 48 -y 3 -x 3 -p 4 -q 4 -u 1 -v 1 -l 4 -j 4 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 128 -H 48 -W 32 -k 128 -y 2 -x 2 -p 0 -q 0 -u 2 -v 2 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 192 -H 1 -W 21 -k 384 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 576 -H 48 -W 32 -k 576 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 2 -H 48 -W 32 -k 288 --fil_d 1 -y 3 -x 3 --pad_d 0 -p 1 -q 1 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 -g 3 --in_layout NDHWC --fil_layout NDHWC --out_layout NDHWC -t 1 -b 1 -F 1
convbfp16 -n 16 -c 1024 -H 1 -W 6 -k 576 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 --in_d 2 -H 48 -W 32 -k 288 --fil_d 3 -y 1 -x 1 --pad_d 1 -p 0 -q 0 --conv_stride_d 1 -u 1 -v 1 --dilation_d 1 -l 1 -j 1 -g 3 --in_layout NDHWC --fil_layout NDHWC --out_layout NDHWC -t 1 -b 1 -F 1
convbfp16 -n 16 -c 576 -H 1 -W 30 -k 8192 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 -H 24 -W 16 -k 288 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 144 -H 24 -W 16 -k 144 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 288 -H 24 -W 16 -k 288 -y 1 -x 3 -p 0 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 3 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 64 -H 225 -W 225 -k 64 -y 1 -x 3 -p 0 -q 1 -u 1 -v 1 -l 1 -j 1 -g 1 --in_layout NHWC --fil_layout NHWC --out_layout NHWC -t 1 -b 0 -F 1
convbfp16 -n 16 -c 576 -H 1 -W 30 -k 1024 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 192 -H 96 -W 64 -k 96 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 64 -H 225 -W 225 -k 64 -y 1 -x 3 -p 0 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 64 -H 225 -W 225 -k 64 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 2048 -H 8 -W 32 -k 288 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 144 -H 24 -W 16 -k 144 -y 3 -x 3 -p 4 -q 4 -u 1 -v 1 -l 4 -j 4 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 128 -c 384 -H 48 -W 32 -k 96 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 40 -H 192 -W 128 -k 40 -y 3 -x 3 -p 1 -q 1 -u 2 -v 2 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 128 -c 384 -H 24 -W 48 -k 384 -y 3 -x 1 -p 1 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 3 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 64 -H 38 -W 38 -k 64 -y 1 -x 3 -p 0 -q 1 -u 1 -v 2 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 64 -H 225 -W 225 -k 64 -y 3 -x 3 -p 1 -q 1 -u 1 -v 1 -l 1 -j 1 -g 1 --in_layout NHWC --fil_layout NHWC --out_layout NHWC -t 1 -b 0 -F 1
convbfp16 -n 16 -c 672 -H 48 -W 32 -k 576 -y 1 -x 1 -p 0 -q 0 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 64 -H 38 -W 38 -k 64 -y 1 -x 3 -p 0 -q 1 -u 1 -v 1 -l 1 -j 1 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
convbfp16 -n 16 -c 144 -H 24 -W 16 -k 144 -y 3 -x 3 -p 2 -q 2 -u 1 -v 1 -l 2 -j 2 -m conv -g 1 -F 1 -t 1 --in_layout NHWC --out_layout NHWC --fil_layout NHWC --iter 100
```

Signed-off-by: deedongala <deekshitha.dongala@amd.com>
I'd like to introduce pytest fixtures for simplifying the
setup/resetting of various boo settings (e.g. caching). Converting our
`unittest`-style tests is the first step towards that.

Some of the test file structure is unnecessary now (e.g. test classes),
but I've left them as-is to minimize the diff. I've also confirmed we
have the same number of tests (149) before and after this change.

Signed-off-by: deedongala <deekshitha.dongala@amd.com>
@deedongala deedongala force-pushed the dev/deedongala/iree-turbine branch from a16b3c6 to 489744e Compare July 30, 2025 16:40
@deedongala deedongala changed the title Dev/deedongala/iree turbine Migrate existing mi300 runners to new mi325 capacity. Jul 30, 2025
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants