応募資格について
【必須資格・経験】
- コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験
- MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上
- LLM / 生成AIの評価手法に関する深い知識
- 統計学・実験計画法の実践的知識
- Pythonでの ML / 評価パイプライン構築経験
- 機械学習フレームワーク（PyTorch, JAX, TensorFlow等）の実務経験
- 評価メトリクスの設計・実装経験
- 言語レベル : いずれか必須
- 日本語 : Fluent (プロダクト開発において齟齬なく議論を行えるレベル)
- 英語 : ビジネスレベル
【歓迎資格・経験】
【歓迎スキル・経験】
- ML / NLPトップカンファレンス（NeurIPS, ICML, ICLR, ACL, EMNLP等）での論文発表経験
- 報酬モデリング / preference learning（RLHF, DPO等）の研究・実装経験
- LLM-as-Judge の校正・rubric設計の経験
- AI安全性・Responsible AI・レッドチーミングに関する知識・経験
- ベンチマーク設計・妥当性検証（IRT, construct validity）の経験
- マルチエージェント・ワークフロー / ツール利用 / ロングコンテキストの評価経験
- 大規模データ処理（Spark / BigQuery等）の経験
- CI/CDパイプラインへのML/評価パイプライン組込み経験
- 論文読解・再現実装の能力
- 英語での技術コミュニケーション能力
____________________
仕事内容
【JAPAN AI】AI Quality Scientist / Japanese
【仕事内容】
### 業務内容
- *評価メトリクスの研究開発*
- LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules)
- 評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection)
- 報酬モデリング / preference learning の評価への応用研究
- 評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection)
- 評価セット (合成データ + 実ログ) の設計・構築・メンテナンス
- *自動評価パイプラインの設計・構築*
- スケーラブルな自動評価パイプラインの設計・実装
- CI/CD への評価パイプライン組込みと品質ゲートの構築
- エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応)
- 評価パイプラインの再現性・信頼性の担保
- *安全性・品質検証*
- 自動レッドチーミング (automated adversarial testing) の研究・実装
- 安全性 / ポリシー準拠の検証フレームワーク構築
- ハルシネーション検出・校正手法の研究・実装
- プロンプト / ツール回帰テストの設計・実行
- *統計分析・実験設計*
- 統計的実験計画 (A/B テスト、有意差検定) の設計・分析
- 品質トレンドの可視化・回帰検出の自動化
- 品質レポート作成と改善提案
- 評価シグナルの研究・開発チームへのフィードバック
【雇用形態】
正社員
____________________
待遇面(給与・福利厚生など)
【年収・給与】
800万円～1600万円 ※提示年収は、今までのご経験や選考の中でのご評価によって決定いたします。最低年収を下回る可能性もございますので、あらかじめご了承ください。
【勤務地】
新宿区
【勤務時間】
10:00~19:00/※8時間
【休日休暇】
土曜日,日曜日,祝日／
____________________
選考について
【選考プロセス】
書類選考 コーディングテスト 面接（4～5回） 内定
会社情報
【事業内容・会社の特長】
- 人工知能の研究開発・人工知能に関するコンサルティングサービス
- 全社で使える汎用型AI AGENTプラットフォーム
（JAPAN AI AGRENT／JAPAN AI CHAT／JAPAN AI SPEECH）
- 部署ごとの課題を解決する特化型AI AGRENT プラットフォーム
（JAPAN AI SALES／JAPAN AI MARKETING／JAPAN AI HR／JAPAN AI CALL／JAPAN AI 行政）
- AIで業務を変革するエンタープライズワークスペース（JAPAN AI STUDIO）
- AIトランスフォーメーション（AX）に伴走するAI開発・コンサルティング（JAPAN AI CONSULTING）
____________________
#新着求人
#ミドルの転職
#30代・40代の転職ならミドルの転職
#ITエンジニア