ETL案件数
ETL案件・求人の月額単価相場
平均単価
88.6
万円
最高単価
176.0
万円
最低単価
49.5
万円
どのように活用すべきか具体的な構想が決まって無い中で、
お客様の要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築するまでをお願いします。
・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成(非正規化、フラット化)
・ETL設定、動作確認
・リードエンジニアとしてのご経験
・DWH(構築、設計、開発)
・ETL(構築、モデル設計、開発)
・BIの知識
大手企業にて賃貸メディアサイトを運営しております。
現在は事業拡大に伴いシステムのリプレイスを進行中です。
システムのリプレイスを行う中で、技術的課題を解消する技術顧問(テクニカルアドバイザー)を募集しております。
【働き方】
平日フルタイムではなく、副業を前提として月20〜40時間稼働し、専門的な技術力を提供するポジションです。
【仕事内容】
自社プロダクトである賃貸メディアサイトの開発に伴う技術顧問として設計等の技術的な意思決定に携わります。
更新する中で、以下に列挙する技術的観点のいずれか1つをお願いします。(複数担当しても構いません)
①Elastic等の検索エンジン技術
②1,000万レコード規模を高速に処理するETL技術
③大規模メディアサイトのバックエンドアーキテクチャ
④大規模メディアサイトのBFFアーキテクチャ化
【具体的な業務内容】
・アーキテクチャの設計、草案作成
・技術的な意思決定、技術資料作成
・技術課題の発見、改善案作成
・開発品質の向上に関わる活動
【開発環境】
・コラボレーションツール:Google workspace
・コニュニケーションツール:Slack
・プロジェクト管理:GitHub、jira、Confluence
・開発言語:JavaScript、TypeScript、Ruby
・フレームワーク:Ruby on Rails, Next.js
・クラウド:GCP
・バックエンドまたはフロントエンドのエンジニアとして開発経験(3年以上)
・下記いずれかのご経験(期間問わず)
①Elastic等の検索エンジン技術
②1,000万レコード規模を高速に処理するETL技術
③大規模メディアサイトのバックエンドアーキテクチャ
④大規模メディアサイトのBFFアーキテクチャ化
製造業向けDWHシステムにて、DWHの性能問題および
ETL由来の課題(連携性能の問題、保守性等)が発生しています。
それらを解決するために、DWHの二重化対応(負荷分散)および
ETL刷新(ASTERIAからDataFactory)対応をお任せできる方を募集しております。
※以下項目は全て必須ではなく、
どれだけご経験があるかで判断させていただきたいです。
・Microsoft Azureの知見
・ETLツールの知見(ASTERIAやData Factory等)
・クラウド環境でのインフラ構築時の性能改善推進経験
・設計/実装/テスト工程の一定水準の能力(3年程度)
・顧客、ステークホルダーとの調整能力
・オンプレのOracle ExadataからSnowflakeへDWHを移行
・DWH移行に伴いETL(Datastage)ジョブ他を改修(一部は新規開発、廃止も含む)
・DWH移行に伴い関連システムとのとのインターフェース連携方式変更、その他データフロー変更
・データソース一元化のため、連携ファイル格納先としてS3を新規導入
<規模感>
・移行対象テーブル数:約1500本
・移行ETLジョブ数:約1000本
・インターフェース数:約1000本
・内外関係者とコミュニケーションを取り、一人称で進められる
・上流工程経験(スコープ、方針検討、工数見積など)
・ETL開発経験
・DB/DWH開発経験(Snowflakeの知見があると尚可)
PJ全体としては通信関連設備(基地局)から様々なデータを収集・加工・蓄積し、
データの利用者へ配信するサービスを行う基盤の載せ替えして頂きます。
それに伴うInfomaticaフロー作成、収集配信スクリプトなどを開発する。
・SQL+ETLでの開発のご経験
・ETL(Infomatica、DataSpider、Talendなど)のご経験
【業務詳細】
AppSheetで作られた現行アプリケーションをGCP環境へ移行します。
GCP移行に伴い、Google Apps Script(GAS)での改修が見込まれます。
【工程】
詳細設計、開発、テスト
・クラウド環境での開発経験
・ローコード開発に抵抗が無い方
・SQL開発の経験
・ETLツールの使用経験
販売管理システム(汎用製品用)の老朽化に伴うインフラVersionUP対応を行っていただきます。
VersionUP時、現行の仕様/機能を担保できない場合は、業務APの改修を実施していただきます。
・WindowsServerのVerUP
・OSVerUPに伴う複数のMWのVerUP
・OSやMWの導入における基盤設計~テスト経験者
・業務アプリケーションBizbrowser、VB、VC(画面)開発スキル
・PL/SQL開発スキル
・ETL(Waha-Transformer)有識者
【概要・業務内容】は下記になります。
・データ基盤の現行調査(バッチ数やテーブル数、データサイズなど+現行の課題把握)
※既存のバッチ仕様書がないため、ソース解析が必要
・アーキテクチャ選定(SybaseIQ、Treasure Dataから分析に最適なDB選定および検証)
※詳細は面談時にお話しできればと存じます。
・データ分析基盤の設計・構築経験者
・ETLツールの設定内容やSQLなどのソース解析
・ETLツールの設計・構築経験者
某通信系企業にてデータ基盤で行われているデータ処理の方式を移行するPJへ携わって頂きます。
現行のApache上で行われている処理をAWS Glueなどのクラウドサービスへシフトするなど移行計画、方式の検討段階からご対応頂きます。
■担当工程:
要件定義~テスト
・データ基盤構築や加工処理に関するPJにおける上流工程野経験
・Sparkの経験
・ETLツールの経験
・SnowflakeやAWS(Glue、EMR)の知見
大手製造業データ統合基盤開発
基本設計書から詳細設計の作成(バッチ・ETL設計)
ETLツールを用いた実装
テスト計画書作成とテスト実施
(単体テスト、結合テスト、システムテスト)
・ETLツールを用いた設計開発経験
・Shellでの経験
・Amazon Redshift、S3の知見及び設計開発経験
・詳細設計書の作成経験
データ分析基盤の構築業務支援をお願いします。
業務内容につきましては、機密情報が多いため、実際にお会いした面談の際に詳細をお伝えいたします。
・担当機能の設計~開発~テストの流れを、責任を持って最後まで遂行できる方
・Pandas ライブラリを利用した ETL 処理に慣れている方
・データソース:csv, parquet, Redshift/RDS table, boto3 APIの経験
・加工処理:カラムの追加/削除、行列抽出、値の置換、四則演算、日付演算等
・アウトプットの書き込み:S3(csv, Parquet, Json), Redshift, RDS
・静的解析ツールのチェック結果に基づいてコードの修正が可能な方(Flake8, mypy)
・ユニットテストを実装できる方(Pytest)
大手製造業のデータ統合基盤の開発を行っていただきます。
1.詳細設計書作成(バッチ(ETL)設計)
基本設計から詳細設計書を作成する
2.Informatica Intelligent Data Management Cloud(CIH)(以降、IDMC)ツールによる実装
IDMCにて詳細設計書から実装を行う
3.単体・結合テスト計画書作成とテスト実施(単体テスト、結合テスト、システムテスト)
・詳細設計書作成経験
・ETLツールでの設計/実装経験
・Shellに関する設計/実装経験
・課題に関する共有と解決
・Amazon Redshift、S3 全般の知識
・Amazon Redshift、S3 を使った設計・開発経験
大手WEBシステムのデータ基盤インフラエンジニアとしてご参画いただきます。
【業務内容】
・データ種の追加やアプリケーション追加によるデータ処理(Go言語・コンテナアプリケーション)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修・検証・テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入・検証・テスト
・データ基盤の量産
・顧客との打ち合わせ (顧客のエンジニアおよび弊社メンバーと一緒に開発いただきます)
・LinuxによるWEBアプリの開発経験3年以上
・コンテナアプリケーションの開発経験1年以上
・Docker・Kubernetes等でのコンテナ運用経験1年以上
・システムアーキテクチャ設計経験1年以上
AI技術を活かしたEC事業におけるPM業務をお任せする予定です。
P.A.I.(パーソナル人工知能)の技術を活用したプロダクトを開発している企業にて
新規事業として越境EC事業に取り組んでいます。
最新のAI技術を活かした越境EC事業のプロジェクトマネジメント業務を担当いただける方を
募集しており、以下業務を担当いただきます。
・プロジェクトの進捗管理
・システム開発の要件定義策定
・ベンダーコントロール
・エンジニアチームとの連携
・API やスクレイピングを通じたデータ収集基盤の開発経験
複数の EC サイトからデータを API ないしスクレイピングで収集、統合し、更新するための設計が考えられること
・ETL 開発経験、運用経験
・EC開発に関するPM経験
データ分析プラットフォームの新規構築をお願いします。(ETL/DWHチーム)
【対応業務】
・データ要件定義
・ETL処理開発標準作成
・ETL処理設計開発・テスト
・結合・総合テスト実施
・受入テスト実施
・一人称でプロジェクトを推進可能な能力
・ETL処理の要件定義から実装・テスト経験
・PySparkでの処理構築経験(Glue経験者だとよい)
ETLの開発(データ関係)、JavaでのDataSpiderやEBXの開発を担当して頂きます。
EBXのアドオン、カスタマイズにJavaを使用するため、Javaが必須となります。
システムは、汎用機系のシステム含むデータを集めたものを統合する基幹システムです。
全員がすべてのツールを使えるように、得意なものを教えあっていこうという方針の現場です。
【工程】
基本設計から下流まで。
要件定義から対応できると尚可。
【環境】
DataSpider、Tibco EBX、A-AUTO、Deciplined Agile
【人数】
10名程
・ETLの開発経験(データ関係)
・Java設計経験
・DataSpiderやEBXの開発経験
エネルギー業界の顧客向け業務システムでAWSを利用したETL開発を行っていただきます。
ペアプロ/モブプロを採用しており、他のエンジニアへの技術指導も開発と並行してお願いします。
具体的には面談の際にお話ししますが、キャンペーン等の申込情報や契約情報の一元管理ができておらず、随時開発を行っています。
業務担当者が画面から条件指定して、検索することでキャンペーンの対象者の情報を活用できるようにするなどの効率化を図るためのデータ基盤を構築作業になります。
・Gitを用いたチーム開発経験、コードレビューの経験
・Pythonを利用したETL, Webアプリケーションの開発経験
・Pytestを用いたテストコード作成の経験
・AWS(Lambda, ECS, Glue, StepFunctions, S3, RDS, Aurora 等)を利用したETL開発経験
・スクラムでの開発経験(スクラムで何が大事か、また、スクラムを用いたプロセス改善を理解している)
データ分析基盤(データクリーンルーム)の設計/開発対応を行っていただきます。
・現行案件をベースに、Data Engineeringチームの設立 (データベースやデータウェアハウスに関する案件対応)
・広義的なエンジニアチームの一員として、様々な案件への対応可能性(他既存案件、新規案件、アドホック対応、PoC対応等)
・必要に応じて、ヘルプや検証チームとしての活動
・SQL開発経験
・以下のいずれかのクラウドベースのデータウェアハウスの利用スキル
∟Snowflake、Amazon Redshift、BigQuery、Azure Synapse Analytics
・以下のいずれかのロール経験
∟データエンジニア、データアナリスト、データベースエンジニア、アナリティクスエンジニア
・様々な種類のデータ(構造化/非構造化)を扱った経験
・データインジェスト、データパイプライン、ETL、ELT、データモデルの概念の理解
・リレーショナルおよびディメンショナルデータ構造、理論、実践に関する知識
【案件概要】
・データ基盤の開発/改修/保守運用
・データ基盤の物理/論理データモデル設計/開発/保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計/開発/保守運用
・GCP や AWS などの主なパブリッククラウドサービスにおける開発経験。
・DWHの設計・開発・運用経験
・ETLの設計・開発・運用経験
・SQLの経験
大手自動車メーカーにて、横断的なDWH環境の構築を実施する。
使用ツールはクライアント標準のETLツール(Talend)を使用し、クライアントの既存メンバーの方と協力しながら標準に則った実装を行っていただく。
・SQL実務経験
・DWHに関する知見
・ETLに関する知見