shithub: dav1d

ref: 51464beb7f84774ba19cb9fe2cf2e7ace25ae2c3
dir: /src/arm/32/loopfilter16.S/

View raw version
/*
 * Copyright © 2018, VideoLAN and dav1d authors
 * Copyright © 2020, Martin Storsjo
 * All rights reserved.
 *
 * Redistribution and use in source and binary forms, with or without
 * modification, are permitted provided that the following conditions are met:
 *
 * 1. Redistributions of source code must retain the above copyright notice, this
 *    list of conditions and the following disclaimer.
 *
 * 2. Redistributions in binary form must reproduce the above copyright notice,
 *    this list of conditions and the following disclaimer in the documentation
 *    and/or other materials provided with the distribution.
 *
 * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
 * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
 * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
 * DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR
 * ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
 * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
 * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
 * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
 * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
 * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
 */

#include "src/arm/asm.S"
#include "util.S"

.macro loop_filter wd
function lpf_4_wd\wd\()_neon
        vabd.u16        d0,  d22, d23 // abs(p1 - p0)
        vabd.u16        d1,  d25, d24 // abs(q1 - q0)
        vabd.u16        d2,  d23, d24 // abs(p0 - q0)
        vabd.u16        d3,  d22, d25 // abs(p1 - q1)
.if \wd >= 6
        vabd.u16        d4,  d21, d22 // abs(p2 - p1)
        vabd.u16        d5,  d26, d25 // abs(q2 - q1)
.endif
.if \wd >= 8
        vabd.u16        d6,  d20, d21 // abs(p3 - p2)
        vabd.u16        d7,  d27, d26 // abs(q3 - q3)
.endif
.if \wd >= 6
        vmax.u16        d4,  d4,  d5
.endif
        vqadd.u16       d2,  d2,  d2  // abs(p0 - q0) * 2
.if \wd >= 8
        vmax.u16        d6,  d6,  d7
.endif
        vshr.u16        d3,  d3,  #1
.if \wd >= 8
        vmax.u16        d4,  d4,  d6
.endif
        vmax.u16        d0,  d0,  d1  // max(abs(p1 - p0), abs(q1 - q0))
        vqadd.u16       d2,  d2,  d3  // abs(p0 - q0) * 2 + abs(p1 - q1) >> 1
.if \wd >= 6
        vmax.u16        d4,  d0,  d4
        vcge.u16        d1,  d11, d4  // max(abs(p1 - p0), abs(q1 - q0), abs(), abs(), ...) <= I
.else
        vcge.u16        d1,  d11, d0  // max(abs(p1 - p0), abs(q1 - q0)) <= I
.endif
        vcge.u16        d2,  d10, d2  // abs(p0 - q0) * 2 + abs(p1 - q1) >> 1 <= E
        vand            d1,  d1,  d2  // fm && wd >= 4 (implicit)
.if \wd >= 6
        vmov            d14, d1       // fm && wd > 4 (implicit)
.endif
.if \wd >= 16
        vmov            d15, d1       // fm && wd == 16 (implicit)
.endif

        vmov            r10, r11, d1
        orrs            r10, r10, r11
        beq             9f            // if (!fm || wd < 4) return;

.if \wd >= 6
        vmov.i16        d10, #1
        vabd.u16        d2,  d21, d23 // abs(p2 - p0)
        vabd.u16        d3,  d22, d23 // abs(p1 - p0)
        vabd.u16        d4,  d25, d24 // abs(q1 - q0)
        vabd.u16        d5,  d26, d24 // abs(q2 - q0)
        vdup.16         d9,  r9       // bitdepth_min_8
.if \wd >= 8
        vabd.u16        d6,  d20, d23 // abs(p3 - p0)
        vabd.u16        d7,  d27, d24 // abs(q3 - q0)
.endif
        vmax.u16        d2,  d2,  d3
        vmax.u16        d4,  d4,  d5
.if \wd >= 8
        vmax.u16        d6,  d6,  d7
.endif
        vmax.u16        d2,  d2,  d4
        vshl.u16        d10, d10, d9  // F = 1 << bitdepth_min_8
.if \wd >= 8
        vmax.u16        d2,  d2,  d6
.endif

.if \wd == 16
        vabd.u16        d3,  d17, d23 // abs(p6 - p0)
        vabd.u16        d4,  d18, d23 // abs(p5 - p0)
        vabd.u16        d5,  d19, d23 // abs(p4 - p0)
.endif
        vcge.u16        d2,  d10, d2  // flat8in
.if \wd == 16
        vabd.u16        d6,  d28, d24 // abs(q4 - q0)
        vabd.u16        d7,  d29, d24 // abs(q5 - q0)
        vabd.u16        d8,  d30, d24 // abs(q6 - q0)
.endif
        vand            d14, d2,  d14 // flat8in && fm && wd > 4
        vbic            d1,  d1,  d14 // fm && wd >= 4 && !flat8in
.if \wd == 16
        vmax.u16        d3,  d3,  d4
        vmax.u16        d5,  d5,  d6
.endif
        vmov            r10, r11, d1
.if \wd == 16
        vmax.u16        d7,  d7,  d8
        vmax.u16        d3,  d3,  d5
        vmax.u16        d3,  d3,  d7
        vcge.u16        d3,  d10, d3  // flat8out
.endif
        orrs            r10, r10, r11
.if \wd == 16
        vand            d15, d15, d3  // flat8out && fm && wd == 16
        vand            d15, d15, d14 // flat8out && flat8in && fm && wd == 16
        vbic            d14, d14, d15 // flat8in && fm && wd >= 4 && !flat8out
.endif
        beq             1f            // skip wd == 4 case
.endif

        vdup.16         d3,  r8       // bitdepth_max
        vsub.u16        d2,  d22, d25 // p1 - q1
        vshr.u16        d3,  d3,  #1  // 128 << bitdepth_min_8 - 1
        vcgt.u16        d0,  d0,  d12 // hev
        vmvn            d9,  d3       // - 128 * (1 << bitdepth_min_8)
        vmin.s16        d2,  d2,  d3  // iclip_diff(p1 - q1)
        vmax.s16        d2,  d2,  d9  // iclip_diff(p1 - q1)
        vand            d4,  d2,  d0  // if (hev) iclip_diff(p1 - q1)
        vsub.u16        d2,  d24, d23
        vmov.i16        d6,  #3
        vbic            d0,  d1,  d0  // (fm && wd >= 4 && !hev)
        vmul.i16        d2,  d2,  d6
        vmov.i16        d6,  #4
        vadd.i16        d2,  d2,  d4
        vmin.s16        d2,  d2,  d3  // f = iclip_diff()
        vmov.i16        d7,  #3
        vmax.s16        d2,  d2,  d9  // f = iclip_diff()
        vqadd.s16       d4,  d6,  d2  // f + 4
        vqadd.s16       d5,  d7,  d2  // f + 3
        vmin.s16        d4,  d4,  d3  // imin(f + 4, 128 << bitdepth_min_8 - 1)
        vmin.s16        d5,  d5,  d3  // imin(f + 3, 128 << bitdepth_min_8 - 1)
        vshr.s16        d4,  d4,  #3  // f1
        vshr.s16        d5,  d5,  #3  // f2
        vmov.i16        d9,  #0
        vdup.16         d3,  r8       // bitdepth_max
        vqadd.s16       d2,  d23, d5  // p0 + f2
        vqsub.s16       d6,  d24, d4  // q0 - f1
        vrshr.s16       d4,  d4,  #1  // (f1 + 1) >> 1
        vmin.s16        d2,  d2,  d3  // out p0 = iclip_pixel()
        vmin.s16        d6,  d6,  d3  // out q0 = iclip_pixel()
        vmax.s16        d2,  d2,  d9  // out p0 = iclip_pixel()
        vmax.s16        d6,  d6,  d9  // out q0 = iclip_pixel()
        vbit            d23, d2,  d1  // if (fm && wd >= 4)
        vbit            d24, d6,  d1  // if (fm && wd >= 4)
        vqadd.s16       d2,  d22, d4  // p1 + f
        vqsub.s16       d6,  d25, d4  // q1 - f
        vmin.s16        d2,  d2,  d3  // out p1 = iclip_pixel()
        vmin.s16        d6,  d6,  d3  // out q1 = iclip_pixel()
        vmax.s16        d2,  d2,  d9  // out p1 = iclip_pixel()
        vmax.s16        d6,  d6,  d9  // out q1 = iclip_pixel()
        vbit            d22, d2,  d0  // if (fm && wd >= 4 && !hev)
        vbit            d25, d6,  d0  // if (fm && wd >= 4 && !hev)
1:

.if \wd == 6
        vmov            r10, r11, d14
        orrs            r10, r10, r11
        beq             2f            // skip if there's no flat8in

        vadd.i16        d0,  d21, d21 // p2 * 2
        vadd.i16        d2,  d21, d22 // p2 + p1
        vadd.i16        d4,  d22, d23 // p1 + p0
        vadd.i16        d6,  d23, d24 // p0 + q0
        vadd.i16        d8,  d0,  d2
        vadd.i16        d10, d4,  d6
        vadd.i16        d12, d24, d25 // q0 + q1
        vadd.i16        d8,  d8,  d10
        vsub.i16        d12, d12, d0
        vadd.i16        d10, d25, d26 // q1 + q2
        vrshr.u16       d0,  d8,  #3  // out p1

        vadd.i16        d8,  d8,  d12
        vsub.i16        d10, d10, d2
        vadd.i16        d12, d26, d26 // q2 + q2
        vrshr.u16       d1,  d8,  #3  // out p0

        vadd.i16        d8,  d8,  d10
        vsub.i16        d12, d12, d4
        vrshr.u16       d2,  d8,  #3  // out q0

        vbit            d22, d0,  d14 // p1 if (flat8in)
        vadd.i16        d8,  d8,  d12
        vbit            d23, d1,  d14 // p0 if (flat8in)
        vrshr.u16       d3,  d8,  #3  // out q1
        vbit            d24, d2,  d14 // q0 if (flat8in)
        vbit            d25, d3,  d14 // q1 if (flat8in)
.elseif \wd >= 8
        vmov            r10, r11, d14
        orrs            r10, r10, r11
.if \wd == 8
        beq             8f            // skip if there's no flat8in
.else
        beq             2f            // skip if there's no flat8in
.endif

        vadd.i16        d0,  d20, d21 // p3 + p2
        vadd.i16        d2,  d22, d25 // p1 + q1
        vadd.i16        d4,  d20, d22 // p3 + p1
        vadd.i16        d6,  d23, d26 // p0 + q2
        vadd.i16        d8,  d0,  d0  // 2 * (p3 + p2)
        vadd.i16        d9,  d23, d24 // p0 + q0
        vadd.i16        d8,  d8,  d4  // + p3 + p1
        vsub.i16        d2,  d2,  d0  // p1 + q1 - p3 - p2
        vadd.i16        d8,  d8,  d9  // + p0 + q0
        vsub.i16        d6,  d6,  d4  // p0 + q2 - p3 - p1
        vrshr.u16       d10, d8,  #3  // out p2

        vadd.i16        d8,  d8,  d2
        vadd.i16        d0,  d20, d23 // p3 + p0
        vadd.i16        d2,  d24, d27 // q0 + q3
        vrshr.u16       d11, d8,  #3  // out p1

        vadd.i16        d8,  d8,  d6
        vsub.i16        d2,  d2,  d0  // q0 + q3 - p3 - p0
        vadd.i16        d4,  d21, d24 // p2 + q0
        vadd.i16        d6,  d25, d27 // q1 + q3
        vrshr.u16       d12, d8,  #3  // out p0

        vadd.i16        d8,  d8,  d2
        vsub.i16        d6,  d6,  d4  // q1 + q3 - p2 - q0
        vadd.i16        d0,  d22, d25 // p1 + q1
        vadd.i16        d2,  d26, d27 // q2 + q3
        vrshr.u16       d13, d8,  #3  // out q0

        vadd.i16        d8,  d8,  d6
        vsub.i16        d2,  d2,  d0  // q2 + q3 - p1 - q1
        vrshr.u16       d0,  d8,  #3  // out q1

        vadd.i16        d8,  d8,  d2

        vbit            d21, d10, d14
        vbit            d22, d11, d14
        vbit            d23, d12, d14
        vrshr.u16       d1,  d8,  #3  // out q2
        vbit            d24, d13, d14
        vbit            d25, d0,  d14
        vbit            d26, d1,  d14
.endif
2:
.if \wd == 16
        vmov            r10, r11, d15
        orrs            r10, r10, r11
        bne             1f            // check if flat8out is needed
        vmov            r10, r11, d14
        orrs            r10, r10, r11
        beq             8f            // if there was no flat8in, just write the inner 4 pixels
        b               7f            // if flat8in was used, write the inner 6 pixels
1:

        vadd.i16        d2,  d17, d17 // p6 + p6
        vadd.i16        d4,  d17, d18 // p6 + p5
        vadd.i16        d6,  d17, d19 // p6 + p4
        vadd.i16        d8,  d17, d20 // p6 + p3
        vadd.i16        d12, d2,  d4
        vadd.i16        d10, d6,  d8
        vadd.i16        d6,  d17, d21 // p6 + p2
        vadd.i16        d12, d12, d10
        vadd.i16        d8,  d17, d22 // p6 + p1
        vadd.i16        d10, d18, d23 // p5 + p0
        vadd.i16        d6,  d6,  d8
        vadd.i16        d8,  d19, d24 // p4 + q0
        vadd.i16        d12, d12, d6
        vadd.i16        d10, d10, d8
        vadd.i16        d6,  d20, d25 // p3 + q1
        vadd.i16        d12, d12, d10
        vsub.i16        d6,  d6,  d2
        vadd.i16        d2,  d21, d26 // p2 + q2
        vrshr.u16       d0,  d12, #4  // out p5
        vadd.i16        d12, d12, d6  // - (p6 + p6) + (p3 + q1)
        vsub.i16        d2,  d2,  d4
        vadd.i16        d4,  d22, d27 // p1 + q3
        vadd.i16        d6,  d17, d19 // p6 + p4
        vrshr.u16       d1,  d12, #4  // out p4
        vadd.i16        d12, d12, d2  // - (p6 + p5) + (p2 + q2)
        vsub.i16        d4,  d4,  d6
        vadd.i16        d6,  d23, d28 // p0 + q4
        vadd.i16        d8,  d17, d20 // p6 + p3
        vrshr.u16       d2,  d12, #4  // out p3
        vadd.i16        d12, d12, d4  // - (p6 + p4) + (p1 + q3)
        vsub.i16        d6,  d6,  d8
        vadd.i16        d8,  d24, d29 // q0 + q5
        vadd.i16        d4,  d17, d21 // p6 + p2
        vrshr.u16       d3,  d12, #4  // out p2
        vadd.i16        d12, d12, d6  // - (p6 + p3) + (p0 + q4)
        vsub.i16        d8,  d8,  d4
        vadd.i16        d6,  d25, d30 // q1 + q6
        vadd.i16        d10, d17, d22 // p6 + p1
        vrshr.u16       d4,  d12, #4  // out p1
        vadd.i16        d12, d12, d8  // - (p6 + p2) + (q0 + q5)
        vsub.i16        d6,  d6,  d10
        vadd.i16        d8,  d26, d30 // q2 + q6
        vbif            d0,  d18, d15 // out p5
        vadd.i16        d10, d18, d23 // p5 + p0
        vrshr.u16       d5,  d12, #4  // out p0
        vadd.i16        d12, d12, d6  // - (p6 + p1) + (q1 + q6)
        vsub.i16        d8,  d8,  d10
        vadd.i16        d10, d27, d30 // q3 + q6
        vbif            d1,  d19, d15 // out p4
        vadd.i16        d18, d19, d24 // p4 + q0
        vrshr.u16       d6,  d12, #4  // out q0
        vadd.i16        d12, d12, d8  // - (p5 + p0) + (q2 + q6)
        vsub.i16        d10, d10, d18
        vadd.i16        d8,  d28, d30 // q4 + q6
        vbif            d2,  d20, d15 // out p3
        vadd.i16        d18, d20, d25 // p3 + q1
        vrshr.u16       d7,  d12, #4  // out q1
        vadd.i16        d12, d12, d10 // - (p4 + q0) + (q3 + q6)
        vsub.i16        d18, d8,  d18
        vadd.i16        d10, d29, d30 // q5 + q6
        vbif            d3,  d21, d15 // out p2
        vadd.i16        d20, d21, d26 // p2 + q2
        vrshr.u16       d8,  d12, #4  // out q2
        vadd.i16        d12, d12, d18 // - (p3 + q1) + (q4 + q6)
        vsub.i16        d10, d10, d20
        vadd.i16        d18, d30, d30 // q6 + q6
        vbif            d4,  d22, d15 // out p1
        vadd.i16        d20, d22, d27 // p1 + q3
        vrshr.u16       d9,  d12, #4  // out q3
        vadd.i16        d12, d12, d10 // - (p2 + q2) + (q5 + q6)
        vsub.i16        d18, d18, d20
        vbif            d5,  d23, d15 // out p0
        vrshr.u16       d10, d12, #4  // out q4
        vadd.i16        d12, d12, d18 // - (p1 + q3) + (q6 + q6)
        vrshr.u16       d11, d12, #4  // out q5
        vbif            d6,  d24, d15 // out q0
        vbif            d7,  d25, d15 // out q1
        vbif            d8,  d26, d15 // out q2
        vbif            d9,  d27, d15 // out q3
        vbif            d10, d28, d15 // out q4
        vbif            d11, d29, d15 // out q5
.endif

        bx              lr
.if \wd == 16
7:
        // Return to a shorter epilogue, writing only the inner 6 pixels
        bx              r6
.endif
.if \wd >= 8
8:
        // Return to a shorter epilogue, writing only the inner 4 pixels
        bx              r7
.endif
9:
        // Return directly without writing back any pixels
        bx              r12
endfunc
.endm

loop_filter 16
loop_filter 8
loop_filter 6
loop_filter 4

.macro lpf_4_wd16
        adr             r6,  7f + CONFIG_THUMB
        adr             r7,  8f + CONFIG_THUMB
        bl              lpf_4_wd16_neon
.endm

.macro lpf_4_wd8
        adr             r7,  8f + CONFIG_THUMB
        bl              lpf_4_wd8_neon
.endm

.macro lpf_4_wd6
        bl              lpf_4_wd6_neon
.endm

.macro lpf_4_wd4
        bl              lpf_4_wd4_neon
.endm

function lpf_v_4_4_neon
        mov             r12, lr
        sub             r10, r0,  r1, lsl #1
        vld1.16         {d22}, [r10, :64], r1 // p1
        vld1.16         {d24}, [r0,  :64], r1 // q0
        vld1.16         {d23}, [r10, :64], r1 // p0
        vld1.16         {d25}, [r0,  :64], r1 // q1
        sub             r0,  r0,  r1, lsl #1

        lpf_4_wd4

        sub             r10, r0,  r1, lsl #1
        vst1.16         {d22}, [r10, :64], r1 // p1
        vst1.16         {d24}, [r0,  :64], r1 // q0
        vst1.16         {d23}, [r10, :64], r1 // p0
        vst1.16         {d25}, [r0,  :64], r1 // q1
        sub             r0,  r0,  r1, lsl #1
        bx              r12
endfunc

function lpf_h_4_4_neon
        mov             r12, lr
        sub             r10, r0,  #4
        add             r0,  r10, r1, lsl #1
        vld1.16         {d22}, [r10], r1
        vld1.16         {d24}, [r0],  r1
        vld1.16         {d23}, [r10], r1
        vld1.16         {d25}, [r0],  r1
        add             r0,  r0,  #4

        transpose_4x4h  q11, q12, d22, d23, d24, d25

        lpf_4_wd4

        sub             r10, r0,  r1, lsl #2
        sub             r10, r10, #4
        transpose_4x4h  q11, q12, d22, d23, d24, d25
        add             r0,  r10, r1, lsl #1

        vst1.16         {d22}, [r10], r1
        vst1.16         {d24}, [r0],  r1
        vst1.16         {d23}, [r10], r1
        vst1.16         {d25}, [r0],  r1
        add             r0,  r0,  #4
        bx              r12
endfunc

function lpf_v_6_4_neon
        mov             r12, lr
        sub             r10, r0,  r1, lsl #1
        sub             r10, r10, r1
        vld1.16         {d21}, [r10, :64], r1 // p2
        vld1.16         {d24}, [r0,  :64], r1 // q0
        vld1.16         {d22}, [r10, :64], r1 // p1
        vld1.16         {d25}, [r0,  :64], r1 // q1
        vld1.16         {d23}, [r10, :64], r1 // p0
        vld1.16         {d26}, [r0,  :64], r1 // q2
        sub             r0,  r0,  r1, lsl #1
        sub             r0,  r0,  r1

        lpf_4_wd6

        sub             r10, r0,  r1, lsl #1
        vst1.16         {d22}, [r10, :64], r1 // p1
        vst1.16         {d24}, [r0,  :64], r1 // q0
        vst1.16         {d23}, [r10, :64], r1 // p0
        vst1.16         {d25}, [r0,  :64], r1 // q1
        sub             r0,  r0,  r1, lsl #1
        bx              r12
endfunc

function lpf_h_6_4_neon
        mov             r12, lr
        sub             r10, r0,  #8
        vld1.16         {d20}, [r10, :64], r1
        vld1.16         {d24}, [r0,  :64], r1
        vld1.16         {d21}, [r10, :64], r1
        vld1.16         {d25}, [r0,  :64], r1
        vld1.16         {d22}, [r10, :64], r1
        vld1.16         {d26}, [r0,  :64], r1
        vld1.16         {d23}, [r10, :64], r1
        vld1.16         {d27}, [r0,  :64], r1

        transpose_4x4h  q10, q11, d20, d21, d22, d23
        transpose_4x4h  q12, q13, d24, d25, d26, d27

        lpf_4_wd6

        sub             r0,  r0,  #4
        transpose_4x4h  q11, q12, d22, d23, d24, d25
        sub             r10, r0,  r1, lsl #2
        sub             r0,  r0,  r1, lsl #1

        vst1.16         {d22}, [r10], r1
        vst1.16         {d24}, [r0],  r1
        vst1.16         {d23}, [r10], r1
        vst1.16         {d25}, [r0],  r1
        add             r0,  r0,  #4
        bx              r12
endfunc

function lpf_v_8_4_neon
        mov             r12, lr
        sub             r10, r0,  r1, lsl #2
        vld1.16         {d20}, [r10, :64], r1 // p3
        vld1.16         {d24}, [r0,  :64], r1 // q0
        vld1.16         {d21}, [r10, :64], r1 // p2
        vld1.16         {d25}, [r0,  :64], r1 // q1
        vld1.16         {d22}, [r10, :64], r1 // p1
        vld1.16         {d26}, [r0,  :64], r1 // q2
        vld1.16         {d23}, [r10, :64], r1 // p0
        vld1.16         {d27}, [r0,  :64], r1 // q3
        sub             r0,  r0,  r1, lsl #2

        lpf_4_wd8

        sub             r10, r0,  r1, lsl #1
        sub             r10, r10, r1
        vst1.16         {d21}, [r10, :64], r1 // p2
        vst1.16         {d24}, [r0,  :64], r1 // q0
        vst1.16         {d22}, [r10, :64], r1 // p1
        vst1.16         {d25}, [r0,  :64], r1 // q1
        vst1.16         {d23}, [r10, :64], r1 // p0
        vst1.16         {d26}, [r0,  :64], r1 // q2
        sub             r0,  r0,  r1, lsl #1
        sub             r0,  r0,  r1
        bx              r12

8:
        sub             r10, r0,  r1, lsl #1
        vst1.16         {d22}, [r10, :64], r1 // p1
        vst1.16         {d24}, [r0,  :64], r1 // q0
        vst1.16         {d23}, [r10, :64], r1 // p0
        vst1.16         {d25}, [r0,  :64], r1 // q1
        sub             r0,  r0,  r1, lsl #1
        bx              r12
endfunc

function lpf_h_8_4_neon
        mov             r12, lr
        sub             r10, r0,  #8
        vld1.16         {d20}, [r10, :64], r1
        vld1.16         {d24}, [r0,  :64], r1
        vld1.16         {d21}, [r10, :64], r1
        vld1.16         {d25}, [r0,  :64], r1
        vld1.16         {d22}, [r10, :64], r1
        vld1.16         {d26}, [r0,  :64], r1
        vld1.16         {d23}, [r10, :64], r1
        vld1.16         {d27}, [r0,  :64], r1

        transpose_4x4h  q10, q11, d20, d21, d22, d23
        transpose_4x4h  q12, q13, d24, d25, d26, d27

        lpf_4_wd8

        sub             r0,  r0,  r1, lsl #2
        transpose_4x4h  q10, q11, d20, d21, d22, d23
        transpose_4x4h  q12, q13, d24, d25, d26, d27
        sub             r10, r0,  #8

        vst1.16         {d20}, [r10, :64], r1
        vst1.16         {d24}, [r0,  :64], r1
        vst1.16         {d21}, [r10, :64], r1
        vst1.16         {d25}, [r0,  :64], r1
        vst1.16         {d22}, [r10, :64], r1
        vst1.16         {d26}, [r0,  :64], r1
        vst1.16         {d23}, [r10, :64], r1
        vst1.16         {d27}, [r0,  :64], r1
        bx              r12
8:
        sub             r0,  r0,  #4
        transpose_4x4h  q11, q12, d22, d23, d24, d25
        sub             r10, r0,  r1, lsl #2
        sub             r0,  r0,  r1, lsl #1

        vst1.16         {d22}, [r10], r1
        vst1.16         {d24}, [r0],  r1
        vst1.16         {d23}, [r10], r1
        vst1.16         {d25}, [r0],  r1
        add             r0,  r0,  #4
        bx              r12
endfunc

function lpf_v_16_4_neon
        mov             r12, lr

        sub             r10, r0,  r1, lsl #3
        add             r10, r10, r1
        vld1.16         {d17}, [r10, :64], r1 // p6
        vld1.16         {d24}, [r0,  :64], r1 // q0
        vld1.16         {d18}, [r10, :64], r1 // p5
        vld1.16         {d25}, [r0,  :64], r1 // q1
        vld1.16         {d19}, [r10, :64], r1 // p4
        vld1.16         {d26}, [r0,  :64], r1 // q2
        vld1.16         {d20}, [r10, :64], r1 // p3
        vld1.16         {d27}, [r0,  :64], r1 // q3
        vld1.16         {d21}, [r10, :64], r1 // p2
        vld1.16         {d28}, [r0,  :64], r1 // q4
        vld1.16         {d22}, [r10, :64], r1 // p1
        vld1.16         {d29}, [r0,  :64], r1 // q5
        vld1.16         {d23}, [r10, :64], r1 // p0
        vld1.16         {d30}, [r0,  :64], r1 // q6
        sub             r0,  r0,  r1, lsl #3
        add             r0,  r0,  r1

        lpf_4_wd16

        sub             r10, r0,  r1, lsl #2
        sub             r10, r10, r1, lsl #1
        vst1.16         {d0},  [r10, :64], r1 // p5
        vst1.16         {d6},  [r0,  :64], r1 // q0
        vst1.16         {d1},  [r10, :64], r1 // p4
        vst1.16         {d7},  [r0,  :64], r1 // q1
        vst1.16         {d2},  [r10, :64], r1 // p3
        vst1.16         {d8},  [r0,  :64], r1 // q2
        vst1.16         {d3},  [r10, :64], r1 // p2
        vst1.16         {d9},  [r0,  :64], r1 // q3
        vst1.16         {d4},  [r10, :64], r1 // p1
        vst1.16         {d10}, [r0,  :64], r1 // q4
        vst1.16         {d5},  [r10, :64], r1 // p0
        vst1.16         {d11}, [r0,  :64], r1 // q5
        sub             r0,  r0,  r1, lsl #2
        sub             r0,  r0,  r1, lsl #1
        bx              r12
7:
        sub             r10, r0,  r1
        sub             r10, r10, r1, lsl #1
        vst1.16         {d21}, [r10, :64], r1 // p2
        vst1.16         {d24}, [r0,  :64], r1 // q0
        vst1.16         {d22}, [r10, :64], r1 // p1
        vst1.16         {d25}, [r0,  :64], r1 // q1
        vst1.16         {d23}, [r10, :64], r1 // p0
        vst1.16         {d26}, [r0,  :64], r1 // q2
        sub             r0,  r0,  r1, lsl #1
        sub             r0,  r0,  r1
        bx              r12

8:
        sub             r10, r0,  r1, lsl #1
        vst1.16         {d22}, [r10, :64], r1 // p1
        vst1.16         {d24}, [r0,  :64], r1 // q0
        vst1.16         {d23}, [r10, :64], r1 // p0
        vst1.16         {d25}, [r0,  :64], r1 // q1
        sub             r0,  r0,  r1, lsl #1
        bx              r12
endfunc

function lpf_h_16_4_neon
        mov             r12, lr
        sub             r10, r0,  #16
        sub             r0,  r0,  #8
        vld1.16         {d16}, [r10, :64], r1
        vld1.16         {d20}, [r0,  :64], r1
        vld1.16         {d17}, [r10, :64], r1
        vld1.16         {d21}, [r0,  :64], r1
        vld1.16         {d18}, [r10, :64], r1
        vld1.16         {d22}, [r0,  :64], r1
        vld1.16         {d19}, [r10, :64], r1
        vld1.16         {d23}, [r0,  :64], r1
        sub             r10, r10, r1, lsl #2
        sub             r0,  r0,  r1, lsl #2
        add             r10, r10, #16
        add             r0,  r0,  #16
        vld1.16         {d24}, [r10, :64], r1
        vld1.16         {d28}, [r0,  :64], r1
        vld1.16         {d25}, [r10, :64], r1
        vld1.16         {d29}, [r0,  :64], r1
        vld1.16         {d26}, [r10, :64], r1
        vld1.16         {d30}, [r0,  :64], r1
        vld1.16         {d27}, [r10, :64], r1
        vld1.16         {d31}, [r0,  :64], r1
        sub             r0,  r0,  #8

        transpose_4x4h  q8,  q9,  d16, d17, d18, d19
        transpose_4x4h  q10, q11, d20, d21, d22, d23
        transpose_4x4h  q12, q13, d24, d25, d26, d27
        transpose_4x4h  q14, q15, d28, d29, d30, d31

        lpf_4_wd16

        sub             r0,  r0,  r1, lsl #2
        transpose_4x4h  q8,  q0,  d16, d17, d0,  d1
        transpose_4x4h  q1,  q2,  d2,  d3,  d4,  d5
        transpose_4x4h  q3,  q4,  d6,  d7,  d8,  d9
        transpose_4x4h  q5,  q15, d10, d11, d30, d31
        sub             r10, r0,  #16
        sub             r0,  r0,  #8

        vst1.16         {d16}, [r10, :64], r1
        vst1.16         {d2},  [r0,  :64], r1
        vst1.16         {d17}, [r10, :64], r1
        vst1.16         {d3},  [r0,  :64], r1
        vst1.16         {d0},  [r10, :64], r1
        vst1.16         {d4},  [r0,  :64], r1
        vst1.16         {d1},  [r10, :64], r1
        vst1.16         {d5},  [r0,  :64], r1
        sub             r10, r10, r1, lsl #2
        sub             r0,  r0,  r1, lsl #2
        add             r10, r10, #16
        add             r0,  r0,  #16
        vst1.16         {d6},  [r10, :64], r1
        vst1.16         {d10}, [r0,  :64], r1
        vst1.16         {d7},  [r10, :64], r1
        vst1.16         {d11}, [r0,  :64], r1
        vst1.16         {d8},  [r10, :64], r1
        vst1.16         {d30}, [r0,  :64], r1
        vst1.16         {d9},  [r10, :64], r1
        vst1.16         {d31}, [r0,  :64], r1
        sub             r0,  r0,  #8

        bx              r12

7:
        sub             r0,  r0,  r1, lsl #2
        transpose_4x4h  q10, q11, d20, d21, d22, d23
        transpose_4x4h  q12, q13, d24, d25, d26, d27
        sub             r10, r0,  #8

        vst1.16         {d20}, [r10, :64], r1
        vst1.16         {d24}, [r0,  :64], r1
        vst1.16         {d21}, [r10, :64], r1
        vst1.16         {d25}, [r0,  :64], r1
        vst1.16         {d22}, [r10, :64], r1
        vst1.16         {d26}, [r0,  :64], r1
        vst1.16         {d23}, [r10, :64], r1
        vst1.16         {d27}, [r0,  :64], r1
        bx              r12
8:
        sub             r0,  r0,  #4
        transpose_4x4h  q11, q12, d22, d23, d24, d25
        sub             r10, r0,  r1, lsl #2
        sub             r0,  r0,  r1, lsl #1

        vst1.16         {d22}, [r10], r1
        vst1.16         {d24}, [r0],  r1
        vst1.16         {d23}, [r10], r1
        vst1.16         {d25}, [r0],  r1
        add             r0,  r0,  #4
        bx              r12
endfunc

// void dav1d_lpf_v_sb_y_16bpc_neon(pixel *dst, const ptrdiff_t stride,
//                                  const uint32_t *const vmask,
//                                  const uint8_t (*l)[4], ptrdiff_t b4_stride,
//                                  const Av1FilterLUT *lut, const int w,
//                                  const int bitdepth_max)

.macro lpf_func dir, type
function lpf_\dir\()_sb_\type\()_16bpc_neon, export=1
        push            {r4-r11,lr}
        vpush           {q4-q7}
        ldrd            r4,  r5,  [sp, #100]
        ldr             r8,  [sp,  #112] // bitdepth_max; the 'w' parameter isn't loaded
        sub             sp,  sp,  #8
        clz             r9,  r8
        rsb             r9,  r9,  #24  // bitdepth_min_8
        ldrd            r6,  r7,  [r2] // vmask[0], vmask[1]
.ifc \type, y
        ldr             r2,  [r2, #8]  // vmask[2]
.endif
        add             r5,  r5,  #128 // Move to sharp part of lut
.ifc \type, y
        orr             r7,  r7,  r2   // vmask[1] |= vmask[2]
.endif
.ifc \dir, v
        sub             r4,  r3,  r4, lsl #2
.else
        sub             r3,  r3,  #4
        lsl             r4,  r4,  #2
.endif
        orr             r6,  r6,  r7   // vmask[0] |= vmask[1]

1:
        tst             r6,  #0x01
        strd            r6,  r7,  [sp]
.ifc \dir, v
        ldrb            r10, [r4], #4
        ldrb            r11, [r3], #4
.else
        ldrb            r10, [r3]
        ldrb            r11, [r3, #4]
        add             r3,  r3,  r4
.endif
        beq             7f             // if (!(vm & bits)) continue;

        orrs            r12, r10, r11
        vdup.16         d31, r9        // bitdepth_min_8
        beq             7f             // if (!(l[0][0] | l[offset][0])) continue;
        cmp             r11, #0        // Check for nonzero values in l[0][0]
        ldrb            r6,  [r5], #8  // sharp[0]
        it              eq
        moveq           r11, r10       // if (!l[0][0]) L = l[offset][0]
        ldrb            r12, [r5]      // sharp[1]
        lsr             r6,  r11, r6   // L >> sharp[0]
        sub             r5,  r5,  #8
        cmp             r12, r6
        lsr             r10, r11, #4   // H
        add             r11, r11, #2   // L + 2
        it              lt
        movlt           r6,  r12       // imin(L >> sharp[0], sharp[1])
        add             r11, r11, r11  // 2*(L + 2)
        cmp             r6,  #1
        lsl             r10, r10, r9   // H << bitdepth_min_8
        it              lt
        movlt           r6,  #1        // imax(imin(), 1) = limit = I
        vdup.16         d12, r10       // H << bitdepth_min_8
        add             r11, r11, r6   // 2*(L + 2) + limit = E
        lsl             r6,  r6,  r9   // I << bitdepth_min_8
        lsl             r11, r11, r9   // E << bitdepth_min_8
        vdup.16         d11, r6        // I << bitdepth_min_8
        vdup.16         d10, r11       // E << bitdepth_min_8

.ifc \type, y
        tst             r2,  #0x01
        beq             2f
        // wd16
        bl              lpf_\dir\()_16_4_neon
        b               8f
2:
.endif
        tst             r7,  #0x01
        beq             3f
.ifc \type, y
        // wd8
        bl              lpf_\dir\()_8_4_neon
.else
        // wd6
        bl              lpf_\dir\()_6_4_neon
.endif
        b               8f
3:
        // wd4
        bl              lpf_\dir\()_4_4_neon
.ifc \dir, h
        b               8f
7:
        // For dir h, the functions above increment r0.
        // If the whole function is skipped, increment it here instead.
        add             r0,  r0,  r1,  lsl #2
.else
7:
.endif
8:
        ldrd            r6,  r7,  [sp]
.ifc \type, y
        lsr             r2,  r2,  #1   // vmask[2] >>= 1
.endif
.ifc \dir, v
        add             r0,  r0,  #8
.else
        // For dir h, r0 is returned incremented
.endif
        lsrs            r6,  r6,  #1   // vmask[0] >>= 1
        lsr             r7,  r7,  #1   // vmask[1] >>= 1
        bne             1b

        add             sp,  sp,  #8
        vpop            {q4-q7}
        pop             {r4-r11,pc}
endfunc
.endm

lpf_func v, y
lpf_func h, y
lpf_func v, uv
lpf_func h, uv