Apache Sparkの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

・自社開発サービスおよび社内システムを対象とした下記作業
・Scala でのアプリケーション開発
・（広告配信システム運用者向け管理画面の Web API サーバー・広告入札および配信サーバー、pdf生成機能その他）

薬局のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、
ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。

【業務内容の詳細】
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援

【募集背景】
「薬局DX」をトータルサポートするために複数のプロダクトが存在しており、希少価値の高い様々なデータを取得できています。
より「薬局DX」をサポートするためにも、データ連携や基盤構築をしてデータ事業を展開する必要があります。
また、プロダクトの改善やカスタマーサクセスの品質向上などのためにも、社内でのデータ利活用を推進することは必須となります。
本ポジションでは、データエンジニアリングで薬局と社内のDX化を推進することに興味のある方を募集します！

【今後の進展】
2022年7月にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【開発環境】
開発言語…Python、Apache Spark、SQL
DB・データウェアハウス・データフォーマット…Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、Delta Lake、Apache Parquet
インフラ…AWS、GCP
開発手法…スクラム
構成管理…Terraform
バージョン管理、コラボレーションツール…GitHub、Slack、esa、JIRA、Trelloなど

【チーム】
開発ディレクター：1
データエンジニア：3

大手SNSプラットフォームの開発〜運用保守までご担当いただきます。
フルリモート可能ですが、初日、PCの受け取りの際に六本木へ後出社いただきます
【開発環境】
言語：PHP、JavaScript、DB、MySQL、FW、独自FW
ソース管理：Git、その他管理ツール、JIRA、Confluence

【案件詳細】
①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。

・AWS上で稼働している製造メーカーの集計システムの改修をお願いします。
・詳細設計、製造、テストの工程をお願いします。

Python、R、SQLを中心としたデータ分析やデータ集計業務に携わっていただきます。
BIツール（Looker、Tableau、Redash等）を用いた経験があると尚可です！

小売業向けの基盤システム開発