pull/29291/head
Shane Smiskol 2 years ago
parent a8e4fc5323
commit 8d0d91fd70
  1. 340
      Jenkinsfile

340
Jenkinsfile vendored

@ -100,205 +100,207 @@ pipeline {
} }
} }
stage('openpilot tests') { stage('large test models') {
when { matrix {
not {
anyOf {
branch 'master-ci'; branch 'devel'; branch 'devel-staging';
branch 'release3'; branch 'release3-staging'; branch 'dashcam3'; branch 'dashcam3-staging';
branch 'testing-closet*'; branch 'hotfix-*'
}
}
}
stage('large test models') { axes {
matrix { axis {
name 'JOB_ID'
axes { values 0, 1, 2, 3, 4
axis {
name 'JOB_ID'
values 0, 1, 2, 3, 4
}
}
stages {
stage('start large test models') {
agent { dockerfile { filename 'Dockerfile.openpilot_base'; args '--user=root' } }
steps {
sh "git config --global --add safe.directory '*'"
sh "git submodule update --init --depth=1 --recursive"
sh "scons -j42"
sh "cd selfdrive/car/tests && PYTHONPATH='${WORKSPACE}' JOB_ID=${JOB_ID} NUM_JOBS=5 INTERNAL_SEG_LIST='selfdrive/car/tests/test_models_segs.txt' ./test_models.py"
}
}
} }
} }
post { stages {
always { stage('start large test models') {
sh "rm -rf ${WORKSPACE}/* || true" agent { dockerfile { filename 'Dockerfile.openpilot_base'; args '--user=root' } }
sh "rm -rf .* || true" steps {
sh "git config --global --add safe.directory '*'"
sh "git submodule update --init --depth=1 --recursive"
sh "scons -j42"
sh "cd selfdrive/car/tests && PYTHONPATH='${WORKSPACE}' JOB_ID=${JOB_ID} NUM_JOBS=5 INTERNAL_SEG_LIST='selfdrive/car/tests/test_models_segs.txt' ./test_models.py"
}
} }
} }
} }
parallel { post {
always {
/* sh "rm -rf ${WORKSPACE}/* || true"
stage('simulator') { sh "rm -rf .* || true"
agent {
dockerfile {
filename 'Dockerfile.sim_nvidia'
dir 'tools/sim'
args '--user=root'
}
}
steps {
sh "git config --global --add safe.directory '*'"
sh "git submodule update --init --recursive"
sh "git lfs pull"
lock(resource: "", label: "simulator", inversePrecedence: true, quantity: 1) {
sh "${WORKSPACE}/tools/sim/build_container.sh"
sh "DETACH=1 ${WORKSPACE}/tools/sim/start_carla.sh"
sh "${WORKSPACE}/tools/sim/start_openpilot_docker.sh"
}
}
post {
always {
sh "docker kill carla_sim || true"
sh "rm -rf ${WORKSPACE}/* || true"
sh "rm -rf .* || true"
}
}
} }
*/ }
}
// stage('scons build test') { // stage('openpilot tests') {
// when {
// not {
// anyOf {
// branch 'master-ci'; branch 'devel'; branch 'devel-staging';
// branch 'release3'; branch 'release3-staging'; branch 'dashcam3'; branch 'dashcam3-staging';
// branch 'testing-closet*'; branch 'hotfix-*'
// }
// }
// }
//
//
//
// parallel {
//
// /*
// stage('simulator') {
// agent { // agent {
// dockerfile { // dockerfile {
// filename 'Dockerfile.openpilot_base' // filename 'Dockerfile.sim_nvidia'
// dir 'tools/sim'
// args '--user=root' // args '--user=root'
// } // }
// } // }
// steps { // steps {
// sh "git config --global --add safe.directory '*'" // sh "git config --global --add safe.directory '*'"
// sh "git submodule update --init --depth=1 --recursive" // sh "git submodule update --init --recursive"
// sh "scons --clean && scons --no-cache -j42" // sh "git lfs pull"
// sh "scons --clean && scons --no-cache --random -j42" // lock(resource: "", label: "simulator", inversePrecedence: true, quantity: 1) {
// sh "${WORKSPACE}/tools/sim/build_container.sh"
// sh "DETACH=1 ${WORKSPACE}/tools/sim/start_carla.sh"
// sh "${WORKSPACE}/tools/sim/start_openpilot_docker.sh"
// }
// } // }
// //
// post { // post {
// always { // always {
// sh "docker kill carla_sim || true"
// sh "rm -rf ${WORKSPACE}/* || true" // sh "rm -rf ${WORKSPACE}/* || true"
// sh "rm -rf .* || true" // sh "rm -rf .* || true"
// } // }
// } // }
// } // }
// */
// //
// stage('tizi-tests') {
// agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// steps {
// phone_steps("tizi", [
// ["build openpilot", "cd selfdrive/manager && ./build.py"],
// ["test boardd loopback", "SINGLE_PANDA=1 pytest selfdrive/boardd/tests/test_boardd_loopback.py"],
// ["test pandad", "pytest selfdrive/boardd/tests/test_pandad.py"],
// ["test sensord", "cd system/sensord/tests && pytest test_sensord.py"],
// ["test camerad", "pytest system/camerad/test/test_camerad.py"],
// ["test exposure", "pytest system/camerad/test/test_exposure.py"],
// ["test amp", "pytest system/hardware/tici/tests/test_amplifier.py"],
// ["test hw", "pytest system/hardware/tici/tests/test_hardware.py"],
// ["test rawgpsd", "pytest system/sensord/rawgps/test_rawgps.py"],
// ])
// }
// }
//
// stage('build') {
// agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// environment {
// R3_PUSH = "${env.BRANCH_NAME == 'master' ? '1' : ' '}"
// }
// steps {
// phone_steps("tici-needs-can", [
// ["build master-ci", "cd $SOURCE_DIR/release && TARGET_DIR=$TEST_DIR ./build_devel.sh"],
// ["build openpilot", "cd selfdrive/manager && ./build.py"],
// ["check dirty", "release/check-dirty.sh"],
// ["onroad tests", "cd selfdrive/test/ && ./test_onroad.py"],
// ["time to onroad", "cd selfdrive/test/ && pytest test_time_to_onroad.py"],
// ])
// }
// }
//
// stage('loopback-tests') {
// agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// steps {
// phone_steps("tici-loopback", [
// ["build openpilot", "cd selfdrive/manager && ./build.py"],
// ["test boardd loopback", "pytest selfdrive/boardd/tests/test_boardd_loopback.py"],
// ])
// }
// }
//
// stage('HW + Unit Tests') {
// agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// steps {
// phone_steps("tici-common", [
// ["build", "cd selfdrive/manager && ./build.py"],
// ["test pandad", "pytest selfdrive/boardd/tests/test_pandad.py"],
// ["test power draw", "pytest system/hardware/tici/tests/test_power_draw.py"],
// ["test loggerd", "pytest system/loggerd/tests/test_loggerd.py"],
// ["test encoder", "LD_LIBRARY_PATH=/usr/local/lib pytest system/loggerd/tests/test_encoder.py"],
// ["test pigeond", "pytest system/sensord/tests/test_pigeond.py"],
// ["test manager", "pytest selfdrive/manager/test/test_manager.py"],
// ["test nav", "pytest selfdrive/navd/tests/"],
// ])
// }
// }
// //
// stage('camerad') {
// agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// steps {
// phone_steps("tici-ar0231", [
// ["build", "cd selfdrive/manager && ./build.py"],
// ["test camerad", "pytest system/camerad/test/test_camerad.py"],
// ["test exposure", "pytest system/camerad/test/test_exposure.py"],
// ])
// phone_steps("tici-ox03c10", [
// ["build", "cd selfdrive/manager && ./build.py"],
// ["test camerad", "pytest system/camerad/test/test_camerad.py"],
// ["test exposure", "pytest system/camerad/test/test_exposure.py"],
// ])
// }
// }
// //
// stage('sensord') { // // stage('scons build test') {
// agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } } // // agent {
// steps { // // dockerfile {
// phone_steps("tici-lsmc", [ // // filename 'Dockerfile.openpilot_base'
// ["build", "cd selfdrive/manager && ./build.py"], // // args '--user=root'
// ["test sensord", "cd system/sensord/tests && pytest test_sensord.py"], // // }
// ]) // // }
// phone_steps("tici-bmx-lsm", [ // // steps {
// ["build", "cd selfdrive/manager && ./build.py"], // // sh "git config --global --add safe.directory '*'"
// ["test sensord", "cd system/sensord/tests && pytest test_sensord.py"], // // sh "git submodule update --init --depth=1 --recursive"
// ]) // // sh "scons --clean && scons --no-cache -j42"
// } // // sh "scons --clean && scons --no-cache --random -j42"
// } // // }
// //
// // post {
// // always {
// // sh "rm -rf ${WORKSPACE}/* || true"
// // sh "rm -rf .* || true"
// // }
// // }
// // }
// //
// // stage('tizi-tests') {
// // agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// // steps {
// // phone_steps("tizi", [
// // ["build openpilot", "cd selfdrive/manager && ./build.py"],
// // ["test boardd loopback", "SINGLE_PANDA=1 pytest selfdrive/boardd/tests/test_boardd_loopback.py"],
// // ["test pandad", "pytest selfdrive/boardd/tests/test_pandad.py"],
// // ["test sensord", "cd system/sensord/tests && pytest test_sensord.py"],
// // ["test camerad", "pytest system/camerad/test/test_camerad.py"],
// // ["test exposure", "pytest system/camerad/test/test_exposure.py"],
// // ["test amp", "pytest system/hardware/tici/tests/test_amplifier.py"],
// // ["test hw", "pytest system/hardware/tici/tests/test_hardware.py"],
// // ["test rawgpsd", "pytest system/sensord/rawgps/test_rawgps.py"],
// // ])
// // }
// // }
// //
// // stage('build') {
// // agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// // environment {
// // R3_PUSH = "${env.BRANCH_NAME == 'master' ? '1' : ' '}"
// // }
// // steps {
// // phone_steps("tici-needs-can", [
// // ["build master-ci", "cd $SOURCE_DIR/release && TARGET_DIR=$TEST_DIR ./build_devel.sh"],
// // ["build openpilot", "cd selfdrive/manager && ./build.py"],
// // ["check dirty", "release/check-dirty.sh"],
// // ["onroad tests", "cd selfdrive/test/ && ./test_onroad.py"],
// // ["time to onroad", "cd selfdrive/test/ && pytest test_time_to_onroad.py"],
// // ])
// // }
// // }
// //
// // stage('loopback-tests') {
// // agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// // steps {
// // phone_steps("tici-loopback", [
// // ["build openpilot", "cd selfdrive/manager && ./build.py"],
// // ["test boardd loopback", "pytest selfdrive/boardd/tests/test_boardd_loopback.py"],
// // ])
// // }
// // }
// //
// // stage('HW + Unit Tests') {
// // agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// // steps {
// // phone_steps("tici-common", [
// // ["build", "cd selfdrive/manager && ./build.py"],
// // ["test pandad", "pytest selfdrive/boardd/tests/test_pandad.py"],
// // ["test power draw", "pytest system/hardware/tici/tests/test_power_draw.py"],
// // ["test loggerd", "pytest system/loggerd/tests/test_loggerd.py"],
// // ["test encoder", "LD_LIBRARY_PATH=/usr/local/lib pytest system/loggerd/tests/test_encoder.py"],
// // ["test pigeond", "pytest system/sensord/tests/test_pigeond.py"],
// // ["test manager", "pytest selfdrive/manager/test/test_manager.py"],
// // ["test nav", "pytest selfdrive/navd/tests/"],
// // ])
// // }
// // }
// //
// // stage('camerad') {
// // agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// // steps {
// // phone_steps("tici-ar0231", [
// // ["build", "cd selfdrive/manager && ./build.py"],
// // ["test camerad", "pytest system/camerad/test/test_camerad.py"],
// // ["test exposure", "pytest system/camerad/test/test_exposure.py"],
// // ])
// // phone_steps("tici-ox03c10", [
// // ["build", "cd selfdrive/manager && ./build.py"],
// // ["test camerad", "pytest system/camerad/test/test_camerad.py"],
// // ["test exposure", "pytest system/camerad/test/test_exposure.py"],
// // ])
// // }
// // }
// //
// // stage('sensord') {
// // agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// // steps {
// // phone_steps("tici-lsmc", [
// // ["build", "cd selfdrive/manager && ./build.py"],
// // ["test sensord", "cd system/sensord/tests && pytest test_sensord.py"],
// // ])
// // phone_steps("tici-bmx-lsm", [
// // ["build", "cd selfdrive/manager && ./build.py"],
// // ["test sensord", "cd system/sensord/tests && pytest test_sensord.py"],
// // ])
// // }
// // }
// //
// // stage('replay') {
// // agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } }
// // steps {
// // phone_steps("tici-replay", [
// // ["build", "cd selfdrive/manager && ./build.py"],
// // ["model replay", "cd selfdrive/test/process_replay && ./model_replay.py"],
// // ])
// // }
// // }
// //
// stage('replay') { // }
// agent { docker { image 'ghcr.io/commaai/alpine-ssh'; args '--user=root' } } // }
// steps {
// phone_steps("tici-replay", [
// ["build", "cd selfdrive/manager && ./build.py"],
// ["model replay", "cd selfdrive/test/process_replay && ./model_replay.py"],
// ])
// }
// }
}
}
} }
} }

Loading…
Cancel
Save