崗位職責：1、負責分布式網絡爬蟲系統及數據庫的設計與開發；2、維護和優化已有的爬蟲服務；3、負責爬蟲核心算法的策略優化研究，設計爬蟲策略和防屏蔽規則，充分利用資源，提升網頁抓取的效率和質量；4、負責數據平臺建設，數據清洗、處理,提供數據服務以及數據管理；5、分析、理解大數據業務需求,設計技術方案并落地實施6、處理各個業務在使用數據平臺過程中的各種問題，分析并給出優化方案；7、可以獨立跟進需求項目開發進度；任職資格:1、計算機相關專業，4年及以上數據采集和大數據生態開發工作經驗；2、Python服務器應用開發經驗，熟悉Django/flask等web開發框架。并具有獨立搭建、維護和優化Django/flask框架和系統的能力。3、掌握網絡爬蟲開發原理，對互聯網各種類型數據交互模式熟悉，知道如何處理需登錄網站、動態網頁等各種情況下的數據采集方法。4、有網絡爬蟲開發經驗、有scrapy等開源抓取工具開發經驗優先。5．熟悉常用數據庫(MySQL/Oracle/SQLSever) ，熟悉索引技術和SQL優化6．精通大數據生態技術：有Hadoop、Zookeeper、HBase、Hive、Flume、Kafka、Sqoop、Spark等實際項目經驗。7、對代碼和設計質量有嚴格要求，重視代碼檢查和審核，良好的編程習慣的標準；8、具備良好的學習能力、溝通能力和團隊協作精神，對技術有非常強烈的熱情；

蘇州百捷信息科技有限公司隸屬于賽博威集團，廣東賽博威信息科技有限公司（以下簡稱：賽博威）是信息產業內多元化發展的大型企業，自成立以來，通過信息技術革新和行業智慧創新，以及憑借眾多的高科技和IT專家和人才，結合超25年核心行業（大消費、房地產物業、石化等）經驗，致力于為企業提供數字化咨詢、軟件技術實施與運營服務。賽博威在華南（廣州）、華東（蘇州）設有兩大交付中心，同時在華南（廣州）還設有服務中心，業務范圍面向全國，輻射亞太，目前公司員工已超過600人，其中80%為專業技術團隊人員。賽博威深耕大消費行業，憑借豐富的資源與經驗沉淀，已形成一體化數字營銷平臺-TPM、微鏡大數據分析、新零售SBC產業電商平臺等企業數字賦能產品系列，同時面向房地產、物業以及石化行業，有成熟的智慧社區物管系統，智慧物流管理系統、無人值守地磅稱重系統等智慧科技產品系列。目前賽博威已成為寶潔、瑪氏、維他奶、屈臣氏、強生、小罐茶、中石化、廣州地鐵、泛海物業、珠海正方、富力地產、歐派等多家知名大型企業的長期IT軟件服務合作伙伴。未來，賽博威將秉承面向客戶-客戶至上、誠實守信、合作共贏，面向員工-探索創新、簡單快樂、彼此成就的企業價值觀以及全渠道數字營銷產品體系、扎實的大數據分析能力與IT建設及運維服務能力，攜手B端客戶為C端消費者提供更便捷、舒適的生活體驗，致力于成為企業數字賦能的領跑者。蘇州地址：工業園區啟月街288號紫金東方C座2樓216廣州：廣州市越秀區先烈中路73號穗豐大廈C座7-8樓 廣州市黃埔區科學城彩頻路11號廣東軟件園F棟10樓、12-13樓