<カカクコム>データエンジニア【HRカンパニー】
株式会社カカクコム · 渋谷区, 東京都 ·
- Employment
- Full time
- Category
- Data engineering
株式会社カカクコム · 渋谷区, 東京都 ·
株式会社ディー・エヌ・エー · 【雇入れ直後】 株式会社ディー・エヌ・エー/渋谷オフィス(本社) またはリモートワークのために自宅及び自宅に準ずる場所として会社が認めた場所 東京都渋谷区渋谷二丁目24番12号 渋谷スクランブルスクエア ※喫煙環境 屋内禁煙(屋内喫煙可能場所あり) 株式会社ディー・エヌ・エー/横浜新井ビルオフィス またはリモートワークのために自宅及び自宅に準ずる場所として会社が認めた場所 神奈川県横浜市中区尾上町1丁目8番地 関内新井ビルディング ※喫煙環境 屋内禁煙(屋内喫煙可能場所あり) 株式会社ディー・エヌ・エー/横浜BASEGATEオフィス またはリモートワークのために自宅及び自宅に準ずる場所として会社が認めた場所 神奈川県横浜市中区港町1丁目1番1 ベースゲート横浜関内タワー ※喫煙環境 屋内禁煙(屋内喫煙可能場所あり) 【変更の範囲】 会社の定める事業場(リモートワークを行う場所を含む)
株式会社HERP · 五反田オフィスへの出社と在宅でのリモート勤務をご自身で選択いただけます。 データチームはフルリモートを選択しているメンバーが多いです。 ※勤務地の変更範囲:会社の定める場所(リモートワークを行う場所を含む)
株式会社クイック · 港区, 東京都
シンプレクス・ホールディングス株式会社 · 港区, 東京都
カカクコムグループのHRカンパニーは、1,000万ユーザーを抱える求人一括検索サービス「求人ボックス」と、70万社以上が導入する採用支援プラットフォーム「エンゲージ(engage)」という2つの主力サービスを擁しています。両サービスが生み出す膨大な求人・求職者・採用データを横断的に活用し、求職者と企業のマッチング精度を高めることが私たちのミッションです。カカクコム傘下のシナジーを活かしながら、データとテクノロジーの力で採用市場全体の価値を創出しています。
HRカンパニーのデータエンジニアとして、「求人ボックス」「エンゲージ」両サービスを対象に、各システム・サービスからデータ分析基盤へのデータ連携(データインジェスト)と、その品質担保、データ分析基盤全体の強化(モダナイズ、リアルタイム化など)を担っていただきます。分析用マートの設計・変換(ELT)はアナリティクスエンジニアが担当し、本ポジションは datalake までの連携パイプラインと、基盤を動かす実行環境・オーケストレーションの構築・運用が中心です。データ連携の設計にはシステム部や企画など関係部署との密な連携が前提となり、ソースや仕様が整理しきれていない状態からのすり合わせ・調整力も求められます。
▼具体的な業務内容▼
・【求人ボックス】各システム・ファイル・ログから、GCS / BigQuery(datalake)までの連携パイプラインの設計・実装・運用(Embulk、ロードジョブ、Dagsterセンサー等)
・【エンゲージ】各システムから AWS 経由で Databricks までの連携パイプラインの設計・実装・運用
・データ連携の遅延・欠落・失敗の監視と障害対応(ジョブ監視、再実行、アラート)
・データ分析基盤の実行基盤・オーケストレーションの運用と強化(GKE、Dagster、CI/CD、Terraform 等)
・新規データソースの追加、既存パイプラインのリプレイス、将来的なリアルタイム化に向けた技術検証
・システム部・企画など関係部署との要件すり合わせ、仕様調整、連携設計の合意形成
【業務環境】
プロジェクト管理:Confluence / Jira
ソースコード管理:GitHub Enterprise
生成AIツール:Cursor / Dify
コミュニケーション:Slack
コラボレーション:Miro
Officeツール:Google Workspace / Box / Microsoft365
端末:Windows(MacBook Proも選択可)
【開発環境・技術スタック】
言語:Python / SQL / Go
クラウド:Google Cloud / AWS
求人ボックス(データ基盤):Cloud Storage(GCS) / BigQuery / Pub/Sub
エンゲージ(データ基盤):AWS / Databricks
データ転送:Embulk
オーケストレーション:Dagster
IaC:Terraform
コンテナ/実行基盤:Docker / GKE / Cloud Run / GCE / Cloud Workflows
その他GCP:Cloud SQL / Secret Manager / Artifact Registry / Cloud Logging / Cloud Monitoring
イベント監視・通知:Datadog
CI/CD:GitHub Actions
BI:Looker Studio
計測ツール:Adobe Analytics / GA4
・AWS、Azure、Google Cloudなどクラウド上でのデータ基盤の設計・開発・運用経験(3年以上)
・各システムからのデータ連携(データインジェスト)、またはデータ転送基盤の設計・実装・運用経験
・SQLを用いたデータ抽出、加工の実務経験
・Pythonなどを用いた開発経験
以下のいずれかに当てはまる方
・Python、Goを用いたソフトウェア開発・運用の経験
・Terraform等によるIaC(Infrastructure as Code)の設計・運用経験
・Embulk等を用いたデータ連携基盤の実装経験
・AWS上のデータ基盤、または Databricks へのデータ連携経験
・分散処理、冗長化、監視、セキュリティに関する基礎知識
・GitHub等を活用したチーム開発の経験
・データ基盤の運用課題や障害に主体的に取り組み、解決した経験
・データ基盤の課題解決に向けた技術選定・導入の経験
・ストリーミング基盤(Pub/Sub等)やリアルタイムデータ処理の経験
・データ品質管理(テスト自動化、モニタリング)の設計・運用経験
・Dagster等のオーケストレーションツールの利用経験
・当社のミッション・ビジョンに共感し、信頼性の高いデータ基盤で事業成長を支えたいという意欲をお持ちの方
・論理的思考力、問題解決能力
・立場や職種の異なるメンバーと円滑にコミュニケーションが取れる方
・自主的に課題解決に取り組める方
・大規模データの技術課題にチャレンジしたい方
・変化の激しい環境を楽しめる、柔軟性とチャレンジ精神のある方
・常に新しい情報や技術にアンテナを張り、学習意欲の高い方
・月間数千万人規模のユーザーが利用するサービスに携わるため、仕事のインパクトが大きく、これまでの経験とスキルを存分に発揮できる
・各システムからのデータ連携(インジェスト)から品質担保、基盤全体のモダナイズ・リアルタイム化まで、データ基盤の進化を一気通貫で担える
・「求人ボックス」と「エンゲージ」双方のデータ基盤に横断的に携わることで、2つの大規模サービスのデータ連携・統合を中核から経験できる
・カカクコム傘下でのシナジーフェーズ:2サービスのデータ連携・統合が本格化するタイミングで、基盤側の中核を担える貴重なポジション
・成長途上のサービス
┗高い成長率を誇るプロダクトのため、データ量の増大に対する技術的なアプローチ(スケール、リアルタイム化、モダナイズ)に取り組みながら、事業の成長とともに自身のスキルも飛躍的に高めることができる
┗データソリューションチームは10名超のメンバーが在籍し、比較的新しい組織ながら風通しがよく、新しい技術を取り入れた環境で自分のアイデアが形になりやすい
┗データ基盤のコアメンバーとして、技術選定やアーキテクチャ設計における裁量を持ち、事業のデータ活用を下支えできる
1か月目
・全社研修、サービス理解、社内システム・データ基盤の理解
・求人ボックス側(GCS/BigQuery/Dagster/GKE)とエンゲージ側(AWS/Databricks)、双方のデータ連携経路の把握
・チームメンバーとの1on1やOJTを通じた関係構築
2か月目以降
・先輩メンバーのサポートのもと、小規模な連携案件(新規ソース追加、既存パイプラインの改修)から担当
・習熟後はスキルや経験に応じて、基盤運用・強化(IaC、オーケストレーション、監視)や技術検証を担当
・チーム内での知見共有・ドキュメント化を通じたナレッジ蓄積
スペシャリストとマネジメントの2つのキャリアパスを用意しています。
・得意な技術領域を磨き、データ基盤の設計・運用を通じて事業課題を解決するスペシャリストを目指す
・チームを統括するリーダー・マネージャーとしてメンバーの成長や基盤全体の戦略を担う
適性やご志向に合わせて、データ連携基盤の構築やアーキテクチャ設計など技術を深めるキャリア、データ品質や基盤全体のモダナイズを軸にするキャリアなど、複数の成長方向を想定しています
株式会社ライトコード · **【全国】** リモートワーク可能です。全国からご応募いただけます。 **【福岡本社】** 〒810-0001 福岡県福岡市中央区天神1-14-18 WeWork天神ブリッククロス14F **【東京オフィス】** 〒105-0003 東京都港区西新橋1-1-1 10F WeWork 日比谷FORT TOWER **【大阪オフィス】** 〒542-0076 大阪市中央区難波5-1-60 なんばスカイオ 27F