ホーム
求人一覧
【東京：リモート】データエンジニア（Databricks・大規模ログ最適化）／株式会社スーパーソフトウエア

【東京：リモート】データエンジニア（Databricks・大規模ログ最適化）

株式会社スーパーソフトウエア

正社員
完全週休2日制

想定年収: 700万円～1000万円

勤務地: 東京都

同社開発アプリ750万DL突破／スキルアップ支援制度充実／月平均残業8.5時間

【職務概要】
トラック製造販売メーカー向け商用車ロジスティクス可視化基盤のデータ処理最適化プロジェクトにて、Databricksを中心としたデータ処理基盤のパフォーマンス改善をご担当いただきます。
車両から発信される膨大なGPSログをリアルタイムに近い形で可視化するため、既存の大規模データ処理基盤に対するチューニング・改善実装が主なミッションとなります。
既存メンバーとチームを組み、技術検討・実装・改善提案を行いながらプロジェクトを推進していただく想定です。

【職務詳細】
■既存データ処理基盤の調査・分析
■ Databricks（PySpark／Scala）を用いた処理の最適化
■ 大規模データ処理ロジックの実装・改修
■ Azureデータ基盤全体のパフォーマンス改善
■ リファクタリング、保守・構成管理
■主な使用技術
・Databricks（PySpark、Scala）
・Apache Spark
・Azure
（Data Factory、SQL Server、SQL Database、Databricks、Functions、Azure DevOps など）

会社の特徴

創業40年を超える実績をもつ同社は、東京、広島、福岡にも事業所を置き、携帯電話・デジタル家電・金融ATM などの組み込み系ソフトウェア開発、航空・鉄道・観光業界における業務系端末システム開発などで豊富な実績を持っております。また、同社が開発するアプリは750万DLを突破する大ヒットアプリとなりました。
会社として社員が働きやすい環境の整備に努めており、配属先も社員一人一人の成長を考えて、きめ細かにフォローしており、長期的に腰を落ち着けて仕事に取り組みたい方にとっては、最適な職場環境です。社内コミュニケーションも大切にしており、社内イベントの開催、クラブ活動を通じて、通常業務では接する機会が少ない社員同士の交流も積極的に実施しています。

募集要項

職種

【東京：リモート】データエンジニア（Databricks・大規模ログ最適化）

応募資格

【必須】
技術スキル
・Databricks上でのPySparkを用いた開発・運用の実務経験（データ加工、バッチ処理、ジョブ実装・運用等）
・Sparkを用いた大規模データ処理の実務経験（数千万行規模以上のデータを扱った経験）
・Azureでのデータ基盤に関わった経験（設計、開発、運用のいずれか）
実務遂行能
・既存のデータ処理ロジックやジョブを理解し、改善・修正できること
・チーム内でのレビューや情報共有を通じて開発を進めた経験