Какво е Data Science? Въведение, Основни Concepts & Процес

Какво е наука за данни?

Science Data е областта на изследване, която включва извличане на прозрения от огромни количества данни с помощта на различни научни методи, алгоритми и процеси. Помага ви да откриете скрити модели от необработените данни. Терминът Data Science се появи поради еволюцията на математическата статистика, анализа на данни и голямо количество от данни.

Data Science е интердисциплинарна област, която ви позволява да извличате знания от структурирани или неструктурирани данни. Науката за данни ви позволява да преведете бизнес проблем в изследователски проект и след това да го преведете обратно в практическо решение.

Защо Data Science?

Ето значителни предимства от използването на технологията за анализ на данни:

Данните са маслото за днешния свят. С правилните инструменти, технологии, алгоритми можем да използваме данните и да ги превърнем в ясно бизнес предимство
Data Science може да ви помогне да откриете измами с помощта на усъвършенствани алгоритми за машинно обучение
Помага ви да предотвратите значителни парични загуби
Позволява изграждането на интелигентност в машините
Можете да извършите анализ на настроението, за да прецените лоялността на клиентите към марката
Позволява ви да вземате по-добри и по-бързи решения
Помага ви да препоръчате правилния продукт на правилния клиент, за да подобрите бизнеса си

Компоненти за наука за данни

Статистика

Статистиката е най-важната единица от основите на Data Science и това е методът или науката за събиране и анализиране на числени данни в големи количества, за да се получат полезни прозрения.

Визуализация

Техниката за визуализация ви помага да получите достъп до огромни количества данни в лесни за разбиране и смилаеми визуализации.

Machine Learning

Machine Learning изследва изграждането и изучаването на алгоритми, които се учат да правят прогнози за непредвидени/бъдещи данни.

Дълбоко обучение

Дълбоко обучение Методът е ново изследване на машинно обучение, при което алгоритъмът избира модела за анализ, който да следва.

Процес на наука за данни

Сега в това Урок за наука за данни, ще научим процеса на наука за данни:

1. Откриване

Стъпката на откриване включва получаване на данни от всички идентифицирани вътрешни и външни източници, което ви помага да отговорите на бизнес въпроса.

Данните могат да бъдат:

Регистри от уеб сървъри
Данни, събрани от социалните медии
Набори от данни от преброяване
Данни, предавани от онлайн източници с помощта на API

2. подготовка

Данните могат да имат много несъответствия като липсващи стойности, празни колони, неправилен формат на данните, който трябва да бъде изчистен. Трябва да обработите, проучите и кондиционирате данните преди моделиране. Колкото по-чисти са вашите данни, толкова по-добри са вашите прогнози.

3. Планиране на модела

На този етап трябва да определите метода и техниката за начертаване на връзката между входните променливи. Планирането на модел се извършва чрез използване на различни статистически формули и инструменти за визуализация. Услугите за SQL анализ, R и SAS/access са някои от инструментите, използвани за тази цел.

4. Изграждане на модел

В тази стъпка започва действителният процес на изграждане на модела. Тук Data scientist разпространява набори от данни за обучение и тестване. Техники като асоцииране, класификация и групиране се прилагат към набора от данни за обучение. Веднъж подготвен моделът се тества спрямо набора от данни за „тестване“.

5. Operaнационализирам

Вие доставяте крайния базов модел с отчети, код и технически документи на този етап. Моделът се внедрява в производствена среда в реално време след задълбочено тестване.

6. Комуникирайте резултатите

На този етап основните констатации се съобщават на всички заинтересовани страни. Това ви помага да решите дали резултатите от проекта са успешни или провал въз основа на входните данни от модела.

Роли в работни места в областта на науката за данните

Най-известните длъжности на Data Scientist са:

Data Scientist
Инженер на данни
Анализатор на данни
статистик
Дата Archiвор
Администратор на данни
Бизнес анализатор
Мениджър на данни/аналитики

Нека научим подробно какво включва всяка роля:

Data Scientist

Роля: Data Scientist е професионалист, който управлява огромни количества данни, за да излезе с убедителни бизнес визии, като използва различни инструменти, техники, методологии, алгоритми и т.н.

Езици: R, SAS, Python, SQL, Hive, Matlab, Pig, Spark

Инженер на данни

Роля: Ролята на a инженер по данни е работа с големи количества данни. Той разработва, конструира, тества и поддържа архитектури като широкомащабни системи за обработка и бази данни.

Езици: SQL, Hive, R, SAS, Matlab, Python, Java, Ruby, C++ и Perl

Анализатор на данни

Роля: Анализаторът на данни е отговорен за извличането на огромни количества данни. Те ще търсят връзки, модели, тенденции в данните. Later той или тя ще предостави завладяващи отчети и визуализация за анализиране на данните, за да вземе най-жизнеспособните бизнес решения.

Езици: R, Python, HTML, JS, C, C++ + , SQL

статистик

Роля: Статистикът събира, анализира и разбира качествени и количествени данни, използвайки статистически теории и методи.

Езици: SQL, R, Matlab, Tableau, Python, Perl, Sparkи Hive

Администратор на данни

Роля: Администраторът на данни трябва да гарантира, че база данни е достъпен за всички съответни потребители. Той също така гарантира, че работи правилно и го предпазва от сух.

Езици: Ruby on Rails, SQL, Java, C# и Python

Бизнес анализатор

Роля: Този професионалист трябва да подобри бизнес процесите. Той/тя е посредник между бизнес изпълнителния екип и ИТ отдела.

Езици: SQL, Tableau, Power BI и, Python

Прочетете също Въпроси и отговори за интервю за наука за данни: Натисни тук

Инструменти за наука за данни

Анализ на данни	Съхранение на данни	Визуализация на данните	Machine Learning
R, Spark, Python намлява SAS	Hadoop, SQL, Кошер	R, Жива картина, Сурово	Spark, Azure ML студио, Mahout

Разлика между Data Science и BI (Business Intelligence)

параметри	Business Intelligence	Science Data
Възприятие	Гледайки назад	С поглед към бъдещето
Източници на данни	Структурирани данни. Предимно SQL, но известно време Data Warehouse)	Структурирани и неструктурирани данни. Като регистрационни файлове, SQL, NoSQL или текст
Подход	Статистика и визуализация	Статистика, машинно обучение и графика
ударение	Минало и настояще	Анализ и невролингвистично програмиране
Инструменти	Пентахо. Microsoft Bl, QlikView,	R, TensorFlow

Също така прочетете разликата между Data Science срещу Machine: Натисни тук

Приложения на Data Science

Някои приложения на Data Science са:

Търсене в Интернет

Търсенето с Google използва технология за наука за данни, за да търси конкретен резултат в рамките на част от секундата

Системи за препоръки

Да се създаде система за препоръки. Например „предложени приятели“ във Facebook или предложени видеоклипове“ на YouTube, всичко се прави с помощта на Data Science.

Разпознаване на изображения и реч

Системи за разпознаване на говор като Siri, Google Assistant и Alexa работят с техниката Data science. Освен това Facebook разпознава вашия приятел, когато качите снимка с него, с помощта на Data Science.

Светът на игрите

EA Sports, Sony, Nintendo използват технологията Data science. Това подобрява вашето игрово изживяване. Сега игрите се разработват с помощта на техники за машинно обучение и могат да се актуализират сами, когато преминете към по-високи нива.

Онлайн сравнение на цените

PriceRunner, Junglee, Shopzilla работят върху механизма Data science. Тук данните се извличат от съответните уебсайтове с помощта на API.

Предизвикателства на технологиите за наука за данни

За точен анализ е необходимо голямо разнообразие от информация и данни
Няма наличен адекватен набор от таланти в областта на науката за данни
Ръководството не предоставя финансова подкрепа за екип за наука за данни
Липса на/труден достъп до данни
Вземащите бизнес решения не използват ефективно резултатите от науката за данни
Обясняването на науката за данните на другите е трудно
Проблеми с поверителността
Липса на значим експерт в областта
Ако една организация е много малка, тя не може да има екип за Data Science

Oбобщение

Data Science е област на изследване, която включва извличане на прозрения от огромни количества данни чрез използване на различни научни методи, алгоритми и процеси.
Статистика, визуализация, задълбочено обучение, машинно обучение са важни концепции за Data Science.
Процесът на наука за данни преминава през откриване, подготовка на данни, планиране на модел, изграждане на модел, Operaционализиране, съобщаване на резултати.
Важни работни роли на Data Scientist са: 1) Data Scientist 2) Data Engineer 3) Data Analyst 4) Data Scientist 5) Data Architect 6) Администратор на данни 7) Бизнес анализатор 8) Мениджър на данни/аналитики.
R, SQL, Python, SaS са основни инструменти за наука за данни.
Прогнозите на Business Intelligence гледат назад, докато за Data Science гледат напред.
Важни приложения на науката за данни са 1) Търсене в Интернет 2) Системи за препоръки 3) Разпознаване на изображения и реч 4) Светът на игрите 5) Сравнение на онлайн цени.
Голямото разнообразие от информация и данни е най-голямото предизвикателство пред технологиите за наука за данни.