Apache DolphinScheduler schränkt die Zeitplanung auf der zweiten Ebene ein

Hintergrund

Die Timing-Aufgabenkonfiguration von Apache DolphinScheduler verwendet einen 7-stelligen Crontab-Ausdruck, der Sekunden, Minuten, Stunden, Tag des Monats, Monat, Wochentag und Jahr entspricht.

In der täglichen Entwicklungsarbeit unseres Teams muss die zeitliche Planung von Arbeitsabläufen im Allgemeinen nicht bis zur zweiten Ebene detailliert werden. Allerdings gab es in der Vergangenheit Vorfälle von Fehlkonfigurationen, die zu Ausfallzeiten führten, wie etwa, dass Workflows, die jede Minute ausgeführt werden sollten, fälschlicherweise so konfiguriert wurden, dass sie jede Sekunde ausgeführt werden, was dazu führte, dass in kurzer Zeit eine große Anzahl von Workflow-Instanzen generiert wurde die Verfügbarkeit des Apache DolphinScheduler-Dienstes und des Hadoop-Clusters, in dem Aufgaben übermittelt werden.

Auf dieser Grundlage hat das Team beschlossen, den Crontab-Ausdruck im Timing-Task-Konfigurationsmodul von DolphinScheduler einzuschränken, um zu verhindern, dass solche Vorfälle auf Plattformebene passieren.

Lösung

Unsere Lösung besteht darin, die erste Position des Crontab-Ausdrucks sowohl am vorderen als auch am hinteren Ende einzuschränken:

• Die Frontend-Konfiguration bietet nicht die Option „jede Sekunde“
• Die serverseitige Schnittstelle gibt einen Fehler zurück, wenn die erste Position * ist

Frontend-Modifikation

Im Front-End-Projekt sind Sekunden, Minuten und Stunden allesamt einheitliche Vorlagen (CrontabTime), daher wird eine neue Datei hinzugefügt: Dolphinscheduler-ui/src/components/crontab/modules/second.tsx

Nur ​​zwei Modi bleiben erhalten: IntervalTime und SpecificTime

/*
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed with
 * this work for additional information regarding copyright ownership.
 * The ASF licenses this file to You under the Apache License, Version 2.0
 * (the "License"); you may not use this file except in compliance with
 * the License.  You may obtain a copy of the License at
 *
 *    http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

import _ from 'lodash'
import { defineComponent, onMounted, PropType, ref, toRefs, watch } from 'vue'
import { NInputNumber, NRadio, NRadioGroup, NSelect } from 'naive-ui'
import { useI18n } from 'vue-i18n'
import { ICrontabI18n } from '../types'
import { isStr, specificList } from '../common'
import styles from '../index.module.scss'

const props = {
    timeMin: {
        type: Number as PropType<number>,
        default: 0
    },
    timeMax: {
        type: Number as PropType<number>,
        default: 60
    },
    intervalPerform: {
        type: Number as PropType<number>,
        default: 5
    },
    intervalStart: {
        type: Number as PropType<number>,
        default: 3
    },
    timeSpecial: {
        type: Number as PropType<number string>,
        default: 60
    },
    timeValue: {
        type: String as PropType<string>,
        default: '*'
    },
    timeI18n: {
        type: Object as PropType<icrontabi18n>,
        require: true
    }
}

export default defineComponent({
    name: 'CrontabSecond',
    props,
    emits: ['update:timeValue'],
    setup(props, ctx) {
        const options = Array.from({ length: 60 }, (x, i) => ({
            label: i.toString(),
            value: i
        }))

        const timeRef = ref()
        const radioRef = ref()
        const intervalStartRef = ref(props.intervalStart)
        const intervalPerformRef = ref(props.intervalPerform)
        const specificTimesRef = ref<array>>([])

        /**
         * Parse parameter value
         */
        const analyticalValue = () => {
            const $timeVal = props.timeValue
            // Interval time
            const $interval = isStr($timeVal, '/')
            // Specific time
            const $specific = isStr($timeVal, ',')

            // Positive integer (times)
            if (
                ($timeVal.length === 1 ||
                    $timeVal.length === 2 ||
                    $timeVal.length === 4) &&
                _.isInteger(parseInt($timeVal))
            ) {
                radioRef.value = 'specificTime'
                specificTimesRef.value = [parseInt($timeVal)]
                return
            }

            // Interval times
            if ($interval) {
                radioRef.value = 'intervalTime'
                intervalStartRef.value = parseInt($interval[0])
                intervalPerformRef.value = parseInt($interval[1])
                timeRef.value = `${intervalStartRef.value}/${intervalPerformRef.value}`
                return
            }

            // Specific times
            if ($specific) {
                radioRef.value = 'specificTime'
                specificTimesRef.value = $specific.map((item) => parseInt(item))
                return
            }
        }

        // Interval start time（1）
        const onIntervalStart = (value: number | null) => {
            intervalStartRef.value = value || 0
            if (radioRef.value === 'intervalTime') {
                timeRef.value = `${intervalStartRef.value}/${intervalPerformRef.value}`
            }
        }

        // Interval execution time（2）
        const onIntervalPerform = (value: number | null) => {
            intervalPerformRef.value = value || 0
            if (radioRef.value === 'intervalTime') {
                timeRef.value = `${intervalStartRef.value}/${intervalPerformRef.value}`
            }
        }

        // Specific time
        const onSpecificTimes = (arr: Array<number>) => {
            specificTimesRef.value = arr
            if (radioRef.value === 'specificTime') {
                specificReset()
            }
        }

        // Reset interval time
        const intervalReset = () => {
            timeRef.value = `${intervalStartRef.value}/${intervalPerformRef.value}`
        }

        // Reset specific time
        const specificReset = () => {
            let timeValue = '0'
            if (specificTimesRef.value.length) {
                timeValue = specificTimesRef.value.join(',')
            }
            timeRef.value = timeValue
        }

        const updateRadioTime = (value: string) => {
            switch (value) {
                case 'intervalTime':
                    intervalReset()
                    break
                case 'specificTime':
                    specificReset()
                    break
            }
        }

        watch(
            () => timeRef.value,
            () => ctx.emit('update:timeValue', timeRef.value.toString())
        )

        onMounted(() => analyticalValue())

        return {
            options,
            radioRef,
            intervalStartRef,
            intervalPerformRef,
            specificTimesRef,
            updateRadioTime,
            onIntervalStart,
            onIntervalPerform,
            onSpecificTimes,
            ...toRefs(props)
        }
    },
    render() {
        const { t } = useI18n()

        return (
            <nradiogroup v-model:value="{this.radioRef}" onupdatevalue="{this.updateRadioTime}">
                <div>



<h3>
  
  
  Server-side
</h3>

<p>Add Crontab expression validation (there are two places: one is the new POST interface, and the other is the modified PUT interface), directly add a validation method for these two places to call:<br>
</p>

<pre class="brush:php;toolbar:false">        if (scheduleParam.getCrontab().startsWith("*")) {
            logger.error("The crontab must not start with *");
            putMsg(result, Status.CRONTAB_EVERY_SECOND_ERROR);
            return result;
        }

Damit ist der Artikel abgeschlossen.