データ基盤エンジニアの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

大手通信系企業の社内会計処理システムのリプレース案件です。
既存システムのリプレースにおいて、アーキテクチャから検討できる方を募集しています。
バッチ処理で、ApachFlinkやHadoopDBを使用することを検討しており、アーキテクチャ設計や検証(Poc)できる人材を探しております。
リプレースに先立ち、コアとなるバッチ処理の一部機能をApache Flink、Hadoopを適用して一部移行(実装)し、既存システム全体のFlink、Hadoopに置き換えた際の動作担保、性能検証を行います。
その後は、リプレースの規模感や、要件整理のためのPoCを行う予定です。

・既存機能の把握
・一部機能の実装(Flinkの適用)
・上記実装したものの動作するためのインフラ構築
・動作検証、性能検証

社内業務(人事・労務・経理など)の効率化・自動化のためのデータ連携・システム連携の開発業務をお任せいたします。
　具体的には、
・BigQueryに各種データを連携してデータ分析・集計環境を構築。
・BigQueryの分析・集計結果を各システムに配信。
・連携元/配信先のシステムは、Salesforce、AWS S3/RDS、Googleスプレッドシート、freeeプロダクトのWeb-APIなど。

データマート作成およびBIツールによる可視化の支援を主にご担当頂きます。

【工程】
要求分析・要件整理～結合試験、保守運用

某メーカーのDX案件における、マスタデータ管理・データ連携システム開発を行うPJです。
データ連携担当ポジションでは、基幹業務システムとデータ基盤とのデータ連携基盤の設計・開発を実施します。
RestAPIの設計開発にあたりMulesoftを利用、RAML形式でAPI定義を行う方針です。
9月から11月まで基本設計を行い、12月以降は詳細設計工程を予定しています。

大規模グルメサービスにおける新設の検索基盤チームへのご参画となります。
業務の進め方としては、検索案件について要件定義段階から関わり、
企画や他の開発チームと連携しながら要件を実現していきます。
検索体験や検索施策の成否は検索基盤によって決まると言っても過言ではなく、
案件の初期段階から深く関わり、その実現のためにエンジニアの立場から積極的にアイデアを出していくことが重要となります。
【具体的な業務内容】
・検索関連プロジェクトにおける要件定義からリリース後の運用・保守までを包括した検索プラットフォームの開発
・Apache Solr の導入、運用管理、およびパフォーマンス最適化
・全文検索エンジンへのデータインデックス処理と、検索エンジンとのインターフェース設計・保守
・CI/CD やモニタリングなど、検索インフラの運用基盤の構築
・Elasticsearch や Vespa など、Apache Solr 以外の全文検索エンジンの調査・検証および導入対応
・技術的な課題の解決や、新しい価値の創出を目的としたソリューションの企画・提案
・高トラフィックおよび大規模データを前提としたシステム構成の設計
・システムの継続的な安定稼働を目的とした技術的負債の整理・解消

【業務内容】
◇データパイプラインの構築：以下の機能を持つパイプラインを構築します。
-各種データをBigQueryに集約する
-BigQuery等のGoogle Cloud上のサービスから他システムへデータを配信する
◇データマートの作成
-BigQueryに集約したデータを基に、用途・目的に応じたデータマートの作成、及び作成の自動化を行います。
◇データの可視化
-Google Kubernetes Engine上に構築したRedashで、データの可視化を行います。
◇データの活用
-BigQueryに集約したデータを基に、レコメンド機能等の追加開発や運用改善を行います。

・運用業務
　└セキュリティ点検（四半期ごとに利用実態の確認）
　└問い合わせ対応（データハブ利用に関する問い合わせへの対応）
・新規データ投入業務
　└データハブ（Snowflake）における新規データ拡充対応
　└データ投入方式の設計・検討・実装

大手製造業のグループ会社にERPを導入しており、各社に五月雨で導入する長期プロジェクトになります。
2021年から対応開始し今後1-2年、半年くらいの単位で各社に導入、直近では年末リリースETLによるデータ連携機能の開発を主とするプロジェクトです。
ERPとのI/F部分（見積受注など）をEAIツール/DataSpiderなどを使用して開発していきます。
まずはETL開発スキルを習得頂きつつ、プロジェクトリーダ/開発リーダの補佐を通してお客様との折衝を覚えて頂きたいと考えております。
その後社員化された際は、リーダとしていくつかの案件をリードして頂きたいです。

データ分析担当者をエンジニア面からサポートする仕事を担当いただきます。
バッチ環境の構築から日々の問い合わせへの回答まで、幅広いご対応をお任せします。

以下、具体的な業務の一例です。
・バッチ実行環境の運用
　└集計バッチ用サーバ 及び Jenkinsサーバの運用
　└新規バッチ実行基盤のアーキテクチャ設計・実装
　└GitHub ActionsなどのCI/CDツールの検証
・データ分析者向けのバッチ・ツールの開発
　└データ集計用SQLの作成
　└データ集計用バッチの実装
　└チーム内向けWebアプリの開発

・業務自動化や効率化
　└JiraやGoogle Workspaceを前提とした業務フローの自動化や効率化

・問い合わせ対応・トラブルシューティング
　└データ分析者からの相談に対するサポート
　└利用サービスのインシデント発生時の対応方針の策定
　└利用ライブラリの脆弱性発覚時の対応方針の策定
・チームで利用する技術の標準化
　└チーム単位で採用する技術の調査や意思決定サポート
　└アップデートや技術移行の手順の作成と実施
　└ドキュメント作成や勉強会の実施など

【開発環境】
言語：Python, Typescript
DWH：Snowflake
ソースコード管理：GitHub Enterprise, GitHub Enterprise Cloud
インフラ環境: AWS, Docker

基盤の運用改善および次世代データ基盤の要件定義、設計、構築を担当して頂きます。
〈具体的な業務内容〉
・現行基盤の課題整理および改善方針の策定
・次世代データ基盤の要望・要件整理・設計
・技術・ツール選定、比較検討
・パフォーマンスチューニング
・キャパシティプランニング
・CI/CDパイプラインの改善
・新規パイプラインの構築、旧パイプラインの閉鎖
※社内のデータ基盤ユーザーとのコミュニケーションが発生。
※リーダー、メンバーおよび関係各所に対する実装方針・技術選定結果などの説明が発生。
※会議におけるファシリテーションなどが発生。

基盤の運用改善および次世代データ基盤の要件定義、設計、構築を担当して頂きます。

■具体的な業務内容
・現行基盤の課題整理および改善方針の策定
・次世代データ基盤の要望・要件整理・設計
・技術・ツール選定、比較検討
・パフォーマンスチューニング
・キャパシティプランニング
・CI/CDパイプラインの改善
・新規パイプラインの構築、旧パイプラインの閉鎖
※社内のデータ基盤ユーザーとのコミュニケーション
※リーダー、メンバーおよび関係各所に対する実装方針・技術選定結果などの説明
※会議におけるファシリテーションなど

基盤の運用および改善業務を担当して頂きます。

■具体的な業務内容
・ユーザーからの依頼および問い合わせ対応
・テーブル・ビュー追加/改修作業
・データ閲覧権限管理作業
・データパイプライン運用/改修作業
・Google Cloud設定変更作業
・技術調査/検証作業
・その他運用改善に伴うツール開発/改修業務

※社内のデータ基盤ユーザーとのコミュニケーション

DX推進SaaSの開発に携わっていただき、主にデータ領域の業務を行っていただきます。
【業務詳細】
・データ分析基盤の最適なモデリングの設計/開発
・データ分析基盤の品質をモニタリングし、維持するための仕組みの構築
・社内向けのデータプロダクトの開発運用

【業務内容】
・ビジネスサイドからの要望に合わせたデータ抽出および、クエリの提供
・クエリを作成するのに必要な要件のヒアリングおよびデータ構成の提案
・Data Warehouseの設計および構築
・新規データの連携
・周辺処理の開発
・各種ドキュメント/カタログの作成
（詳細は面談時にお話しいたします。）

資金調達なども行なっている市場リサーチ・企業リスト作成・決裁者アプローチを一気通貫で実現する
営業データプラットフォームを提供している企業にて、
データアーキテクトとして、スケーラブルなデータ基盤の設計・構築から運用・改善までをリードし、事業の成長を直接的に推進していただきます。
特にこのポジションでは技術・構造・ユーザー価値の観点から再定義する姿勢を重視しています。

具体的な業務内容
・ビジネス要求に応じたデータアーキテクチャの設計・改善
・各種データの収集・統合・可視化・活用を実現するスケーラブルな基盤構築と運用
・現行システムの課題分析と、将来を見据えた改善提案
・新技術・新手法の調査・提案・PoC
・データガバナンス・セキュリティの方針検討と施策設計（ご経験に応じて）

【案件概要】
・自社プロダクトであるデータ統合SaaSおよび、
AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装

・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援

【ツール】
AWS(Redshift, QuickSightなど), trocco

【業務内容】
大手証券会社のデータ基盤における、Terraformを用いたIaC化およびCI/CDパイプラインの構築・運用をご担当いただきます。
実装対象はSnowflakeですが、Snowflakeの知見は不要です（※スペシャリストがチーム内に在籍）
Terraformのコード設計・運用に強みがある方を求めております。
Snowflakeに関してはキャッチアップ意欲がある方が前提となります。
（詳細は面談時にお話しいたします。）

AI×SaaSプロダクトの開発部門で、SQL、Pythonによるデータ変換処理の設計および開発をご担当いただきます。

【詳細】
顧客企業から受領したデータをSaaSのデータ仕様に合わせるため、データ連携基盤ではデータの変換を行っています。
顧客企業によって、データ形式が異なるため、データ変換処理は、個別に実装し、対応しています。
そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。
設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。
実装は、作成した設計書を元に、変換処理の実装を行います。
【使用技術】
・開発言語： Python、SQL
・インフラ： Amazon Web Services
・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Lambda、Cloud Watch
・ツール： GitHub、Jira、Slack

エンタープライズSaaSプロダクトにおけるデータパイプラインの設計、構築、および最適化をご担当いただきます。
▼具体的な業務内容
・様々な外部データソース（例：Google Drive, Dropbox, Web page, etc）とのデータ連携のための処理の実装
・データの正確性、完全性、一貫性を保証するためのデータ品質管理プロセスの設計と実装、およびデータパイプラインの健全性を監視するシステムの構築

業務内容は下記になります。
法人向けSaaSプロダクトにおけるデータパイプラインの設計・構築及び最適化を担当していただきます。
具体的には様々な外部データソース（例：Google Drive, Dropbox, Webpage, etc）とのデータ連携のための処理の実装を行なっていただきます。

大手テレコム事業者向けのデータ分析基盤の構築・運用業務になります。
サービス関連ログ、サービス関連データをSplunkクラスタへ集約し、コールセンタの運用改善を実施しております。
Splunk上でのダッシュボード開発はツール利用者様にて行われているため、基盤の構築・運用や、Splunkへのデータ連携の開発が主なスコープとなります。

【業務例】
・Splunkの設定(スクリプトデータ入力（ターゲットはJSONファイルの想定）
・データ仕様調整（お客様調整）

大手求人検索サービスを展開されている企業様にてデータエンジニアとしてご参画いただきます。
現在構築を進めている新しいデータ基盤への移行を推進するための開発作業をご担当いただきます。
【環境】
クラウドサービス：AWS (S3, Athena, Glue, MWAA, Kinesis, Lambda, etc.)
データ基盤：Databricks, Redash, etc.
プロビジョニング：Terraform
開発ツール：GitHub, Slack, JIRA

国内大手素材メーカーで運用されているデータ基盤の保守をご担当いただきます。
データ基盤の保守を得意とされる方からのご応募をお待ちしております。

エンドユーザー様向けに、経営データ基盤の企画・構想フェーズを支援する案件です。
ビッグデータを活用し、戦略立案や分析モデル構築を行いながら、データ基盤のグランドデザイン策定を担います。
現場で分散している各種データを統合し、リアルタイムなデータ可視化や分析を実現するための基盤構築をリードいただきます。
・データ基盤の企画・構想フェーズ支援
・データ利活用に向けたグランドデザイン設計
・ビッグデータの加工・分析および戦略立案
・エンドユーザー様と直接コミュニケーションを取り、上流工程からリード

日本で最大規模の不動産会社向け業務用クラウドサービスの導入に携わっていただきます。

大手顧客は多くのITに関わる課題を持っています。
その中でサービスの利用を選択されますが利用するにあたり、
旧システムまたはExcel等で管理していたデータを、サービスに投入する必要があります。
また、システム連携においては、データを変換し、連携させる必要があります。
ETLを使い、システム連携部分の開発に携わっていただきます。

薬局のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、
ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。

【業務内容の詳細】
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援

【募集背景】
「薬局DX」をトータルサポートするために複数のプロダクトが存在しており、希少価値の高い様々なデータを取得できています。
より「薬局DX」をサポートするためにも、データ連携や基盤構築をしてデータ事業を展開する必要があります。
また、プロダクトの改善やカスタマーサクセスの品質向上などのためにも、社内でのデータ利活用を推進することは必須となります。
本ポジションでは、データエンジニアリングで薬局と社内のDX化を推進することに興味のある方を募集します！

【今後の進展】
2022年7月にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【開発環境】
開発言語…Python、Apache Spark、SQL
DB・データウェアハウス・データフォーマット…Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、Delta Lake、Apache Parquet
インフラ…AWS、GCP
開発手法…スクラム
構成管理…Terraform
バージョン管理、コラボレーションツール…GitHub、Slack、esa、JIRA、Trelloなど

【チーム】
開発ディレクター：1
データエンジニア：3

下記2つの活動を通して、レガシーシステムからの脱却を行っているプロジェクトで、
構築されたシステムのデータの清流化及びデータ活用基盤の構築支援を想定しております。
1）共通データ化チーム支援：全社DBを活用したIFのハブアンドスポーク化の推進
2）全社データ活用基盤構築：全社データ活用基盤としてSnowflakeを導入し、基盤の標準化/活用を推進

データ基盤構築エンジニアを募集しております。
日々膨大な量のデータが収集される中で、よりクオリティの高いデータ基盤の構築を目指しており、
経験豊富な方がジョインしていただけると幸いです。
データアナリストチームの一員として以下の業務を想定しています。
・データ分析基盤の設計／構築／運用
データパイプライン(Data Ware House/Data Mart)の構築/運用
データ品質管理（運用まで）
・継続した運用を可能にするためのドキュメント作成
・コスト監視体制構築

▼案件概要
メディア事業を展開しているエンド企業様のデータ基盤の開発案件にて、
要件に対して DB の設計やアーキテクチャーの設計を行っていただきます。
・アーキテクチャー設計
・DB 設計
・コードレビュー
・SQL によるアドホックの調査
詳細の情報については面談の際にお話しさせていただきます！

【案件概要】
基幹システムの基盤運用保守を行っていただきます。
【業務内容】
・大手製造メーカー基幹システム・基盤運用保守
・基本的には定常業務主体
・障害対応、各種資料作成
※詳細は面談時にお話しいたします。
※面談2回の可能性あり