Principal Machine Learning Engineer, Evaluation

Position Overview

The work we do at Autodesk touches nearly every person on the planet. By creating software tools for making buildings, machines, and even the latest movies, we influence and empower some of the most creative people in the world.

As a Principal Machine Learning Engineer focused on evaluating ML models for CAD and BIM, you will ensure ML‑powered experiences meet high standards for quality, reliability, and customer impact across Autodesk products. You will work hands‑on with ML‑enabled Autodesk software to design evaluation datasets, metrics, and protocols that reflect real user workflows. You will use those signals to guide release readiness and continuous improvement in production. You will communicate results through clear evaluation summaries and recommendations, partnering with researchers, engineers, and product teams to close the gap between offline performance and real customer outcomes.

You will report to a manager in the Model Delivery team within Autodesk Research. This role is based in proximity to our North American Autodesk offices, with a preference for Toronto or Vancouver. We support both in‑person, hybrid, and remote work.

Responsibilities

• Design and run evaluation protocols (datasets, metrics, statistical analysis) that reflect real CAD/BIM user workflows and production conditions
• Build repeatable evaluation tooling and automation to support model development, regression testing, and release‑readiness decisions
• Curate, process, and analyze data from multiple sources (including production‑derived samples) to assess model behavior and customer outcomes
• Validate end‑to‑end ML‑powered product experiences and translate product requirements into measurable evaluation criteria
• Communicate findings and recommendations clearly to researchers, engineers, product teams, and leadership
• Document model quality issues discovered in production or during validation (accuracy, robustness, latency, failure modes) and help prioritize follow‑up investigations

Minimum Qualifications

• BS or MS in Mechanical Engineering, Architecture, Computer Engineering, Computer Science, Applied Math, Statistics, or equivalent industry experience
• 4+ years of professional experience in ML model evaluation, ML‑enabled QA, or applied ML engineering, including designing evaluation datasets, metrics, and protocols
• Strong software engineering skills for building repeatable evaluation systems, including Python, data pipelines and analysis, testable and maintainable code, version control, and cloud‑based workflows (e.g., AWS or Azure)
• Strong written communication skills for documenting evaluation methods, results, and recommendations

Preferred Qualifications

• Familiarity with design, manufacturing, or AEC workflows, including hands‑on experience with CAD/BIM tools such as Fusion, AutoCAD, or Revit
• Experience with geometry or design data representations, including 2D and 3D
• Familiarity with ML frameworks and tooling (e.g., PyTorch, Ray, or similar)

---

Présentation du poste

Le travail que nous accomplissons chez Autodesk touche pratiquement chaque personne sur la planète. En créant des outils logiciels destinés à la conception de bâtiments, de machines et même des films les plus récents, nous influençons et donnons les moyens d’agir à certaines des personnes les plus créatives au monde.

En tant qu'ingénieur principal en apprentissage automatique spécialisé dans l'évaluation des modèles d'apprentissage automatique pour la CAO et le BIM, vous veillerez à ce que les expériences basées sur l'apprentissage automatique répondent à des normes élevées en matière de qualité, de fiabilité et d'impact sur les clients pour l'ensemble des produits Autodesk. Vous travaillerez de manière pratique avec les logiciels Autodesk basés sur l'apprentissage automatique afin de concevoir des ensembles de données d'évaluation, des indicateurs et des protocoles qui reflètent les flux de travail réels des utilisateurs. Vous utiliserez ces signaux pour orienter la préparation des versions et l'amélioration continue en production. Vous communiquerez les résultats à travers des résumés d'évaluation clairs et des recommandations, en partenariat avec des chercheurs, des ingénieurs et des équipes produit afin de combler l'écart entre les performances hors ligne et les résultats réels pour les clients.

Vous rendrez compte à un responsable de l'équipe Model Delivery au sein d'Autodesk Research. Ce poste est basé à proximité de nos bureaux Autodesk en Amérique du Nord, de préférence à Toronto ou à Vancouver. Nous prenons en charge le travail en présentiel, hybride et à distance.

Responsabilités

• Concevoir et exécuter des protocoles d'évaluation (ensembles de données, métriques, analyse statistique) qui reflètent les flux de travail réels des utilisateurs de CAO/BIM et les conditions de production
• Développer des outils d'évaluation reproductibles et des automatisations pour soutenir le développement de modèles, les tests de régression et les décisions relatives à la préparation des versions
• Collecter, traiter et analyser des données provenant de multiples sources (y compris des échantillons issus de la production) pour évaluer le comportement des modèles et les résultats pour les clients
• Valider les expériences produit de bout en bout basées sur le ML et traduire les exigences produit en critères d'évaluation mesurables
• Communiquer clairement les conclusions et les recommandations aux chercheurs, ingénieurs, équipes produit et dirigeants
• Documenter les problèmes de qualité des modèles découverts en production ou lors de la validation (précision, robustesse, latence, modes de défaillance) et aider à hiérarchiser les investigations de suivi

Qualifications Minimales

• Licence ou master en génie mécanique, architecture, génie informatique, informatique, mathématiques appliquées, statistiques, ou expérience professionnelle équivalente
• Au moins 4 ans d'expérience professionnelle dans l'évaluation de modèles ML, l'assurance qualité basée sur le ML ou l'ingénierie ML appliquée, y compris la conception d'ensembles de données d'évaluation, de métriques et de protocoles
• Solides compétences en génie logiciel pour la création de systèmes d'évaluation reproductibles, notamment en Python, dans les pipelines et l'analyse de données, le code testable et maintenable, le contrôle de version et les workflows basés sur le cloud (par exemple AWS ou Azure)
• Solides compétences en communication écrite pour documenter les méthodes d'évaluation, les résultats et les recommandations

Qualifications Souhaitées

• Connaissance des flux de travail en conception, fabrication ou AEC, y compris une expérience pratique des outils CAO/BIM tels que Fusion, AutoCAD ou Revit
• Expérience en représentation de données géométriques ou de conception, y compris en 2D et 3D
• Connaissance des frameworks et outils d'apprentissage automatique (par exemple PyTorch, Ray ou similaires)