Sparkのフリーランス求人・案件一覧| フリーランスエンジニア募集
検索条件
Sparkのフリーランス求人・案件一覧
1 - 30/件 全4件
【SRE/常駐/週5日】 メガバンク向けAMLパッケージカスタマイズ開発案件のフリーランス求人・案件
業務委託(フリーランス)
案件の内容
海外ベンダーの日本進出に伴い、ベンダーの日系パートナーの位置づけで参画いただきます。 他の日系金融機関にも導入が決まっており、今後拡大が見込まれ、 当案件参画を皮切りに当ベンダーのスペシャリストを育成したいと考えております。 入場は6,7月(開始時期の前倒し応相談)を想定しておりますが、参画前に2か月程英語のオンライン研修を受講いただきます。 海外ベンダーのパッケージの導入の為ビジネスレベルの方が好ましいですが、 実作業の英語頻度はそこまで高くない為、TOEICで一定のスコアを持っている方・日常英会話レベルの方でも検討可能です。 （現場PM・メンバーは日本人となっております）
求めるスキル
・Java開発経験5年以上 （ScalaまたはSpark開発経験、知識あれば尚可） ・ビジネスレベルの英語/日本語
案件担当のコメント
【作業場所】 ・東京駅近辺 客先常駐（金融機関の本番データを取り扱うため） 【期 間】 ・2025年6,7月～予定 ・参画前に海外ベンダーのデータエンジニア研修（E-learning＆Project Work）を 2か月程受講必須となります。（英語での研修となります） ※研修期間の単価については応相談
【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援のフリーランス求人・案件
業務委託(フリーランス)
武蔵小杉駅案件の内容
データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験
求めるスキル
Python経験者様（3年程度は欲しい）
【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業のフリーランス求人・案件
業務委託(フリーランス)武蔵小杉駅案件の内容
某通信会社向け開発支援作業
求めるスキル
〈リーダー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・リーダー経験が1年以上ある方。 ・基本設計からのご経験がある方。 ※OSS（Kafka、Spark、Haddp、Flink）を使用したストリーミング経験があれば尚可 ※アジャイル開発経験があれば尚可 〈メンバー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・詳細設計からのご経験がある方。。 ※OSS（Kafka、Spark、Haddp、Flink）を使用したストリーミング経験があれば尚可 ※アジャイル開発経験があれば尚可
【Python /一部リモート/週5日】フロー管理システムの開発・保守作業のフリーランス求人・案件
業務委託(フリーランス)案件の内容
フロー管理システムの開発・保守作業
求めるスキル
・ファイル操作として、Palantirの標準機能を使いつつ、Python(PySpark)でコーディングできる ・仕様（要件定義レベル）を確認した後、仕様書を作成するのではなく、直接コーディングに入る（アジャイル的なエンハンスを実施中） ・現状のシステム内部を把握する活動に能動的に入れる ・SQL/Python
1 - 30/件 全4件
Sparkのフリーランス求人・案件について
■Sparkのフリーランス求人・案件について Apache Sparkを活用したフリーランス案件は、ビッグデータ基盤構築、ログ解析、機械学習パイプライン、ETL処理の高速化などで高い需要があります。 mijicaフリーランス等における月額単価相場は80万〜120万円前後。Spark単体よりも、Spark＋Scala／Python／AWS EMR／Databricksなどの構成経験がある人材が特に重宝されています。 データ基盤系の長期案件や、クラウド環境への移行・構築支援などで案件が継続的に発生しています。 ■Sparkについて Apache Sparkは、高速な分散データ処理エンジンであり、バッチ処理・ストリーム処理・機械学習・SQL・グラフ処理までを1つの統合環境で実行可能なフレームワークです。 主な特徴： Hadoop MapReduceの最大100倍の高速処理性能（インメモリ処理） Scala、Python（PySpark）、Java、Rに対応 Spark SQL、MLlib、GraphX、Structured Streamingなど豊富なAPI群 HDFSやS3、Kafka、Cassandra、MongoDBなど多様なデータソースとの統合 特に現在は、DatabricksやAWS EMRなどのマネージドサービスとの組み合わせが主流となっています。 ■Sparkの開発スタック・主要ツール Apache Sparkの実務で使用されるスタックやツールは以下の通りです： 言語：Scala / Python（PySpark） / SQL 実行環境：Spark Standalone / YARN / Kubernetes / Databricks / EMR データソース：HDFS / S3 / Kafka / JDBC / Delta Lake ETL処理：Airflow / Luigi / DBT データベース：BigQuery / Redshift / Snowflake / Hive / PostgreSQL ジョブ管理・スケジューラ：Apache Airflow / cron BIツール：Tableau / Looker / PowerBI ログ管理・監視：CloudWatch / Prometheus / Grafana / ELK Stack 「Spark × Airflow × AWS」や「Spark × Databricks × Delta Lake」などの組み合わせが実務でよく使われます。 ■Sparkのフリーランス求人・案件の特徴（週5日稼働など） Sparkを扱う案件は多くが週5日常駐またはフルリモートのデータ基盤構築・運用系です。案件の特徴としては： 大量のログデータを用いたバッチジョブ設計・実装 機械学習モデルの学習パイプライン処理（MLlib/外部連携） ETL処理の高速化・再設計 Kafkaストリームとの連携やリアルタイム分析構築 SparkSQLによるデータ抽出・加工処理の実装 特にクラウドデータウェアハウス（Snowflake、BigQueryなど）との併用経験があると、さらに評価が高くなります。 ■Sparkフリーランス案件参画に役立つ資格について Sparkに直接対応した資格は少ないですが、以下の資格やスキルが評価されやすいです： Databricks Certified Associate Developer for Apache Spark（英語） AWS認定（SAA / DVA / Big Data Specialty） GCP Professional Data Engineer Pythonエンジニア認定試験 / Scala実務経験 応用情報技術者 / データベーススペシャリスト また、AirflowやDBT、Snowflakeなどのデータパイプライン構築スキルとの組み合わせがより高く評価されます。 ■Sparkの市場動向と今後のニーズについて Apache Sparkの需要は以下の理由で今後さらに拡大する見込みです： ビッグデータ処理・データ基盤構築のニーズが企業横断的に増加中 生成AI・機械学習との連携で大量データの前処理パフォーマンスが重要に マネージド環境（Databricks・EMR・GCP Dataprocなど）の整備により導入ハードルが低下 企業のDX推進に伴うリアルタイム・分析系データ処理案件の増加 特に、**「Sparkで作った基盤をどう活かすか」「クラウド上でスケールする仕組みを構築できるか」**という視点を持つエンジニアが強く求められています。