データ基盤エンジニアの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

ライブ配信事業における、データ基板の設計業務に携わっていただきます。

・Trocco / dbt を用いたETLパイプラインの設計・改善
・Snowflakeのロール・権限設計、マスキングポリシー・タグ伝播の実装支援
・データ基盤の開発標準策定・ドキュメント整備
■開発環境
使用言語: Python, SQL, HCL（Terraform）
ETL：dbt, Trocco
データストア: MySQL, snowflake
インフラ: AWS, GCP
プロジェクト管理ツール: GitHub, Slack, Notion

通信企業向けの既存システムの廃止に伴い、Snowflakeを活用したDWH上でのデータ加工処理・アプリケーション開発を行う案件です。

・Salesforce等の複数データソースからSnowflakeへ取り込まれたデータを加工・集約する処理の実装
・Snowflake上のデータを用いて、既存システムで提供していたデータサービス／帳票機能の再構築（リファクタリング）
※基盤は別チームが担当
・Snowflake上でのデータ加工・集計処理（SQL中心）の設計・実装
・Python／Shell等を用いたバッチ処理の開発
・既存設計書・データ仕様書の読解、データ構造の整理
・実装方針・仕様について顧客と調整

「商談前・中・後」の全プロセスをAIがリードし、構造化されたデータに基づき営業効率を最大化させるプラットフォームを運営している企業です。
多媒体から集まる膨大な「ローデータ（音声・テキスト・ログ）」を構造化し、AI学習やレコメンドに活用するための基盤（Redshift、BigQuery等）を構築・運用します。
・DynamoDB / S3 を中心としたデータパイプライン構築
・音声・テキストデータの ETL 設計・実装
・ユーザー行動ログ・AI 推論ログの収集基盤設計
・LLM の出力品質評価・モニタリング基盤の構築
・分析基盤（Athena / QuickSight 等）の整備

大手製造業のグループ会社にERPを導入しており、各社に五月雨で導入する長期プロジェクトになります。
2021年から対応開始し今後1-2年、半年くらいの単位で各社に導入、直近では年末リリースETLによるデータ連携機能の開発を主とするプロジェクトです。
ERPとのI/F部分（見積受注など）をEAIツール/DataSpiderなどを使用して開発していきます。
まずはETL開発スキルを習得頂きつつ、プロジェクトリーダ/開発リーダの補佐を通してお客様との折衝を覚えて頂きたいと考えております。
その後社員化された際は、リーダとしていくつかの案件をリードして頂きたいです。

損害保険会社のシステムリニューアルにおいて、Pythonを用いたデータ移行ツールを開発します。
データマッピングを実施し、決まったフォーマット（フラットファイル）への移行を担当いただきます。
データエクスポート／ロード処理は別チーム対応のため、本案件のスコープ外です。

Excelでデータを手作業で加工、集計処理をして、収益管理をしているところを
Tableauでレポート表示をしたいという案件になります。
Tableauprepを使ってExcelやCSVファイルを収集、加工して、Tableauが読み込める形式に変換。
そのデータを元にTableauレポートを作成していきます。
※Tableauのレポート作成の要員は目処がたっており、Tableauが読み込める形式に加工する部分までの要員を探しています。

Snowflakeを活用したデータ連携基盤システム更改案件において、
設計工程の途中からご参画いただきます。
(AWS GlueからPythonの実行)

【開発言語等】 Snowflake、Python、AWS Glue、など
【スケジュール】
・2025年12月まで　設計工程
・2026年1月～4月　PG/PT　※上位チーム8名体制(プロパー2名)で推進　←こちらへの増員となります
・2026年5月～7月　ITA、ITB
・2026年8月～10月　ST、ユーザーテスト
・2026年11月　リリース

基盤の運用改善および次世代データ基盤の要件定義、設計、構築をお任せいたします。
※社内のデータ基盤ユーザーとのコミュニケーションが発生します
・ 現行基盤の課題整理および改善方針の策定
・次世代データ基盤の要望・要件整理・設計
・技術・ツール選定、比較検討
・パフォーマンスチューニング
・ キャパシティプランニング
・ CI/CDパイプラインの改善
・ 新規パイプラインの構築、旧パイプラインの閉鎖
・リーダー、メンバーおよび関係各所に対する実装方針・技術選定結果などの説明
・会議におけるファシリテーション

現行のAzure SQL Database + Azure Data Factoryを
Snowflake + Azure Data Factoryへ移行する業務になります。
・システム要件定義
・システム方式設計
・運用設計（ID、権限、ロール等）
・SnowflakeDB設定/実装（DBアドミニストレーター系）
・SnowflakeをAzureネットワークとプライベートリンク接続
・構築した環境のテスト
・運用手順書作成
・既存のAzure Reposによるコード管理
・既存のAzure PiplinesによるCI/CD構築
・ELTパイプランの実装

データパイプラインの構築、BIツールの整備を中心にご自身のスキルに合わせて業務をご担当いただきます。
具体的には下記になります。

・dbt（data build tool）にて構築されたデータパイプラインのデータモデルのリファクタリング
・データ利活用のための環境整備　等

クライアント（HR系）のデータマネジメント部署にてデータマートの開発業務を担当いただきます。
データ分析/活用プロジェクトへ参画いただき、データエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、データ要件の定義や必要に応じて各種調査も一部ご担当いただきます。
【具体的な業務内容】
分析用データ基盤/ワークフローの開発・保守運用（Azure Databricks / dbt / Airflow）
データマートの開発・保守運用
データに関わる各種調査

基盤の運用および改善業務を担当して頂きます。

■具体的な業務内容
・ユーザーからの依頼および問い合わせ対応
・テーブル・ビュー追加/改修作業
・データ閲覧権限管理作業
・データパイプライン運用/改修作業
・Google Cloud設定変更作業
・技術調査/検証作業
・その他運用改善に伴うツール開発/改修業務

※社内のデータ基盤ユーザーとのコミュニケーション

データレイヤを中心に、GRCドメインモデル、マルチテナントDB戦略、ベクトルDBを用いたRAGパイプライン、NL2SQLサービスを設計・実装いただきます。
・ドメインモデル・スキーマ設計
-GRCドメインのコアテーブル（risks/controls/issues/regulations/mappings等）の設計・実装
-テナントごとのカスタム項目を JSONB/EAV で表現する設計とクエリ最適化
-DataProfileに基づくShared-Table/Schema-per-Tenant/DB-per-Tenantの切り替え戦略の具体化
・ナレッジストア/ベクトルDB（Qdrant or Weaviate）
-規制文書・社内ポリシー・監査レポートなどのテキストチャンク＋メタデータ設計
-Embedding生成（OSSモデル等）とQdrantorWeaviate への格納・検索ロジック実装
-tenantId・jurisdiction・regulationId等のメタデータフィルタを活用した検索API設計
・RAGパイプラインの構築（RAGFlow等）
-document.uploaded イベント起点のIngestion→テキスト抽出→チャンク分割→Embedding→ベクトルDB登録までのバッチ・ストリーム処理実装
-LangFuse等を用いた検索品質の評価と継続的改善
・NL2SQL サービスの設計・実装
-スキーマメタデータ管理（テーブル名・カラム名・日本語別名・リレーション定義）
-LLMを用いた自然文→SQL生成、および以下のガード実装

大規模グルメサービスにおける新設の検索基盤チームへのご参画となります。
業務の進め方としては、検索案件について要件定義段階から関わり、
企画や他の開発チームと連携しながら要件を実現していきます。
検索体験や検索施策の成否は検索基盤によって決まると言っても過言ではなく、
案件の初期段階から深く関わり、その実現のためにエンジニアの立場から積極的にアイデアを出していくことが重要となります。
【具体的な業務内容】
・検索関連プロジェクトにおける要件定義からリリース後の運用・保守までを包括した検索プラットフォームの開発
・Apache Solr の導入、運用管理、およびパフォーマンス最適化
・全文検索エンジンへのデータインデックス処理と、検索エンジンとのインターフェース設計・保守
・CI/CD やモニタリングなど、検索インフラの運用基盤の構築
・Elasticsearch や Vespa など、Apache Solr 以外の全文検索エンジンの調査・検証および導入対応
・技術的な課題の解決や、新しい価値の創出を目的としたソリューションの企画・提案
・高トラフィックおよび大規模データを前提としたシステム構成の設計
・システムの継続的な安定稼働を目的とした技術的負債の整理・解消

基盤の運用改善および次世代データ基盤の要件定義、設計、構築を担当して頂きます。

■具体的な業務内容
・現行基盤の課題整理および改善方針の策定
・次世代データ基盤の要望・要件整理・設計
・技術・ツール選定、比較検討
・パフォーマンスチューニング
・キャパシティプランニング
・CI/CDパイプラインの改善
・新規パイプラインの構築、旧パイプラインの閉鎖
※社内のデータ基盤ユーザーとのコミュニケーション
※リーダー、メンバーおよび関係各所に対する実装方針・技術選定結果などの説明
※会議におけるファシリテーションなど

クチコミAI分析サービスの運用保守（データ基盤構築など）をお任せいたします。

クチコミAI分析サービスの運用保守をご担当いただきます。
本サービスは Google Map に投稿されるクチコミを自動収集・分析・要約し、顧客の声を 集客、売上に貢献する資産 へ変換するプロダクトです。
サービスの安定稼働を最重要ミッションとし、プロダクトを支えていただける方を募集しています。
主な業務内容は下記を想定しております。
・システム設計（アーキテクト）：安定稼働を支えるための構成検討・改善
・システム運用：新規契約開始に伴う設定業務やデータ更新作業等の日々の運用対応
・システム改善：LLM のプロンプト改善や動作チューニングなど、既存モデルの品質向上に向けた調整
・問い合わせ対応：ユーザーからの技術的問い合わせ対応、必要に応じた軽微な改修
・バグ修正・小規模改修：安定稼働のための不具合修正や既存機能改善
※新規機能開発よりも、既存システムの運用安定化を重視したポジションです。

電気機器メーカー向けデータ統合基盤開発
基本設計書から詳細設計の作成（バッチ・ETL設計）
ETLツールを用いた実装、テスト計画書作成とテスト実施
AWS（Amazon EventBridge、Lambda、 Step Functions、Athena、S3）

500万DL越えの大人気お買い物アプリにおけるデータ基盤エンジニアを募集いたします！
現在PdMやマーケ担当がデータ分析を行い、ビジネス上の意思決定を行っています。
しかしながらサービスのグロースが進み、データの種類は増え、非機能要件が高度化し、社内での分析基盤のニーズや重要性が高まっております。
現在のデータ基盤開発の専任者いない状況を変えるべく、一人目のデータ基盤エンジニアを探しております。
データを通じてサービスをさらにグロースしていくにあたり、サービスの成長を一緒に推進していただけるような方を探しております。
0→1、1→10の開発において上流から下流まで幅広くご支援いただける方がマッチいたします。
【お願いしたいこと】
データエンジニアリング領域を一気通貫で支えていただける方を募集しております。
・データ活用ニーズの明確化〜収集データの仕様決定〜モデリング
・データパイプラインの設計・構築
・非機能要件定義（リアルタイム性、正確性、セキュリティ、ガバナンスなど）と設計・実装
・BIツールの設定・構築〜分析業務（一部）
・監視やモニタニング等含めた運用基盤の構築と実運用
・機械学習利用に向けたデータ基盤整備
【開発環境】
・DB：BigQuery、Dataform、Spanner
・Observability：CloudMonitoring,CloudLogging
・DevOps：Terraform, GitHubActions
・ツールなど：LookerStudio,GoogleSpreadSheets,GitHub,Slack,Notion
詳細の情報については面談の際にお話しさせていただきます！

広告配信データを分析し、インサイトを導出するAI分析機能の開発を担当します。
データ処理、分析ロジックの実装、AIエージェントとの統合を組み合わせた高度なシステムの設計・実装を行います。
【具体的な業務内容】
■データ分析基盤の開発
・BigQuery、ClickHouseを用いた広告配信データの集計・加工処理
・Pythonによる分析アルゴリズムの実装
・分析ロジックのAIエージェントへの統合

■AIエージェント機能の開発
・社内独自のAIエージェントフレームワークを用いた新機能開発
・プロンプトエンジニアリングと分析ワークフローの設計
・マルチエージェントシステムによる複雑な分析処理の実装
■API・システム統合
・OpenAI API, Anthropic Claude APIとの統合
・GCP (Cloud Run, Cloud Functions) 上でのサービス開発
・パフォーマンスとメンテナンス性を考慮した設計・実装

データ利活用・DX支援事業において、
データ基盤構築やSaaS開発、生成AI関連開発などを担当いただきます。

Snowflake、dbt、Terraformなどを活用したデータ基盤開発や
ETLパイプライン設計、構築、運用など幅広い領域に関わります。

データ処理パイプライン構築支援を行っていただきます。
・Apache Flinkを用いたデータ処理パイプラインの設計・実装
・リアルタイムストリーム処理のチューニング
・ETL処理設計／品質監視体制の構築
・大規模データ処理の最適化とパフォーマンス改

APM統合のためのデータクレンジング、マスターデータ設定、医療データベース(Ultmarc)や商用データソースを含むデータセットの運用準備を行います。
データ統合・管理、クロスファンクショナルチームとの連携、システム間(Salesforce、SQL Serverなど)のデータマッピング・変換作業をご担当いただきます。
【開発環境】
SQL、SQL Server、Ultmarcデータベース、Salesforce、Power BI (尚可)

【フェーズ】
データクレンジング、マスターデータ管理、データ統合、運用準備

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。

データの分析基盤をGCPにて構築する案件です。
BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます。

・週次定例会および常駐対応を通じて、AIデータ基盤および関連システムに関する技術支援を実施。
・現在検討中のデータプラットフォームを起点に、クラウドインフラ（Azure）やアプリケーション構築・運用の設計などを含むITアーキテクチャ全体を対象にレビュー及び助言を行う。
・定例・常駐で得た情報を整理し、技術的なレビュー・助言を行うとともに、その内容を反映した週次報告資料を成果物として作成する。
期待する役割
・データ基盤を中核としつつ、システム全体のアーキテクチャを俯瞰し技術方針をリードいただく。
・実装作業ではなく、設計レビューや技術方針の検討が主な役割。
・幅広い技術知見を活かし、ITアーキテクチャ全体を俯瞰的に支援いただく。
・AIに関する専門知識は必須ではないが、AI・非構造データを含むパイプラインを考慮した基盤設計ができること。

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。
データの分析基盤をGCPにて構築する案件です。
BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます。

BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます。

美容系サービスを展開している企業にてデータを扱えて、
テンプレートを使って仕組みを作れる方を募集しています。
データ活用と実装の両面に強みを持ち、マーケティング施策を自ら構築・推進できる方。
サーバサイドのテンプレートエンジンを用いた開発経験を活かし、動的コンテンツや
パーソナライズ施策の実装ができる方が望ましいです。
また、MAツールやCRMにおけるデータ構造を理解し、ユーザー属性・行動データをもとに効果的な施策設計が可能な方や
DWHとMAツールを繋ぐデータパイプラインの構築経験を有し、SQLによるデータ抽出・加工や
ETLツールを用いた運用を実践的に行える方が理想です。

・新データ基盤の設計・構築（AWS／BigQuery／Snowflake等）
・ETL/ELTパイプラインの改善・最適化
・データモデル設計／マルチテナント対応
・データガバナンス、セキュリティ設計・運用、コンプライアンス対応
・全社業務データ／IoTデータ／行動データの統合管理
・BIツール連携設計
・データ基盤運用・最適化、チーム技術育成・レビュー
【工程】
要件定義、設計、構築、運用、最適化、技術リード

【開発環境】
言語：Python／Go／Java
クラウド：AWS／GCP／Snowflake
IaC：Terraform／CloudFormation／CDK
DWH：BigQuery／RDBMS
その他：Kafka／Pub/Sub／Spark／dbt／Trocco

QlikView/QlikSenceで作成された帳票について現行調査を実施し、Databricksへの移行を実施いただきます。
・現行帳票の調査
・移行方針検討

【スケジュール】
2025年11-12月：現行調査
2026年1月：設計
2026年2-4月:移行

資金調達なども行なっている市場リサーチ・企業リスト作成・決裁者アプローチを一気通貫で実現する
営業データプラットフォームを提供している企業にて、Pythonデータスクレイピングエンジニアとして、
サービスのコア技術となるデータ収集・可視化を担当していただきます。
概要として、特定のウェブサイトからデータを効率的かつ正確に収集するスクレイピングプログラム、
収集したデータを可視化・管理するWebアプリケーションの開発とメンテナンスを担当していただきます。
またデータ基盤構築に伴いリアーキテクチャも検討中のため、アーキテクチャや保守/運用設計も担当して頂きます。