У нас уже 242733 рефератов, курсовых и дипломных работ
Заказать диплом, курсовую, диссертацию


Быстрый переход к готовым работам

Мнение посетителей:

Понравилось
Не понравилось





Книга жалоб
и предложений

 





Название Великі дані – нова теорія та практика
Количество страниц 129
ВУЗ Тернопільський національний економічний університет
Год сдачи 2016
Содержание АНОТАЦІЯ
_______ Великі дані – нова теорія та практика - Рукопис.
Дослідження на здобуття освітньо-кваліфікаційного рівня «магістр» за спеціальністю 8.050102 – економічна кібернетика. Тернопільський національний економічний університет. – Тернопіль, 2014.
Дослідження теоретичних основ великих даних, охарактеризувано методи доступу до великих масивів даних, проведено асоціативний аналіз на прикладі кондитерського відділу супермаркету.
Ключові слова: Big Data, великі масиви, асоціативний аналіз.





ANNOTATION
_______________ Big Data - a new theory and practice ‒ Manuscript.
Research to Master Degree in Economics on Specialization 8.050102 – Economic Cybernetics - Ternopil National Economic University. – Ternopil’, 2012.
The theoretical foundations of large data oharakteryzuvano methods for accessing large amounts of data, association analysis conducted by the example of the confectionery department of the supermarket.
Keywords: Big Data, big arrays, associative analysis.

 




ЗМІСТ
ВСТУП 3
РОЗДІЛ I. ІННОВАЦІЙНІ ТЕХНОЛОГІЇ ОБРОБКИ ВЕЛИКИХ ІНФОРМАЦІЙНИХ МАСИВІВ 7
1.1. Парадигма індустрії Big Data 7
1.2. Поняття та джерела великих даних 15
Висновки до розділу 1 30
РОЗДІЛ II. ВЕЛИКІ ДАНІ НА ПІДПРИЄМСТВАХ 32
2.1. Доступ до великих масивів відомостей 32
2.2. Корпоративні сховища даних 43
Виcновки до роздiлу 2 54
РОЗДІЛ III. ВПРОВАДЖЕННЯ ВЕЛИКИХ ДАНИХ ДЛЯ СЕРЕДНЬОГО І ВЕЛИКОГО БІЗНЕСУ (НА ПРИКЛАДІ МЕРЕЖІ СУПЕРМАРКЕТІВ) 56
3.1. Прикладні рішення для Big Data 56
3.2. Обробка та аналіз великих даних 88
Виcновки до роздiлу 3 107
ВИCНOВКИ 109
СПИСОК ВИИКОРИСТАНИХ ДЖЕРЕЛ 111
ДОДАТКИ 116


 



ВСТУП

Актуальність теми. Тема Big Data сьогодні набуває особливої актуальності: змінюючи підходи до аналізу інформації і способи прийняття рішень, цей тренд впливає на бізнес усіх розмірів.
Організації та раніше вкладали значні кошти в програми для автоматизації бізнес-процесів і поліпшення операційної ефективності. Багато з цих проектів ще тривають, але стає абсолютно ясно, що управління даними за допомогою традиційних методів не забезпечує правильної інформації в правильний час і її надання правильним співробітникам. Це відбувається з різних причин: через погану інтеграції систем і невисокої якості даних, а також проблем з продуктивністю і масштабованість. Багато організацій сьогодні не можуть впоратися з труднощами отримання даних, необхідних для прийняття критично важливого рішення.
В ІТ-індустрії немає поки загальної домовленості про те, що розуміти під терміном Big Data. Багато хто використовує його для позначення експоненціального зростання даних, проблеми доступності та використання інформації в ІТ-ландшафті завтрашнього дня, якому супроводжує накопичення величезних масивів інформації.
Часто термін Big Data використовується для опису масивних обсягів даних, які аналізуються сверхкомпаніямі зразок Google, Amazon, Facebook або колективами, що працюють над грандіозними науковими проектами, - такими як NASA.
Однак більшість фахівців вважають, що поняття Big Data треба співвідносити нема з об'ємом, а зі швидкістю зростання даних, при якій підприємство не встигає реагувати на виникаючі проблеми. Для більшості корпоративних структур значення терміна BIG щодо: все залежить від розміру організації. Більшою мірою йдеться про пошук нової цінності як усередині традиційних джерел даних, так і за їх межами.
Під Big Data експерти багатьох організацій розуміють обсяги даних, що перевершують на один або кілька порядків звичні масиви, з якими працюють сучасні інформаційні системи. Проблеми Big Data пов'язані з необхідністю обробки постійно і різко збільшуються обсягів інформації, пошуку і класифікації даних в умовах зростання складності і числа їх окремих елементів.
Питання використання великих даних в даний момент розглядається в основному західними фахівцями в силу наявності доступу до емпіричних методів дослідження. Професори Роджер Бон (Bohn Roger) і Джеймс Шорт (James Short) з Каліфорнійського університету Сан Дієго в своїх роботах 2009-2010 років приділили багато уваги накопиченню інформації серед корпорацій та індивідуальних користувачів. У своїх роботах вони розкрили масштаби накопичення інформації в глобальному масштабі, а також роблять прогнози з приводу темпів подальшого зростання обсягу великих даних. У роботі 2011 Ерік Бринжолфссон (Brynjolfsson Eric) і Хіт Лорін (Lorin M. Hitt) підкреслюють збільшення значущості рішень, прийнятих на підставі аналізу даних в компаніях різних секторів економіки. Особливою активністю в питанні дослідження великих даних відзначилися фахівці McKinsey Global Institute (організація, асоційована з міжнародною консалтинговою компанією акКінсі і Ко). У своїх роботах представники інституту Жак Бугін (Bughin, Jaques), Майкл Чиу (Michael Chiu), Джеймс Маніука (James Manyika), Майкл Барбер (Barber, Michael and Lenny Mendoca), Алістер Леві (Alastair Levy), Тімо Кубах (Timo Kubach) і Маркус Лоффлера (Markus Loffler) детально досліджують різноманітні аспекти розвитку і використання великих даних. Зокрема, велику роль у своїх дослідженнях фахівці інституту приділяють потенціалу використання великих даних у державному секторі та секторі роздрібної торгівлі.
Метою дослідження є поглиблення теоретичних і методичних засад та розробка прикладних рекомендацій щодо формування великих даних.
Реалізація мети дослідження зумовила необхідність визначення і розв'язання наступних завдань:
• дослідження теоретичних основ великих даних;
• охарактеризувати методи формування великих даних;
• провести аналіз великих даних на прикладі супермаркету;
• напрями удосконалення роботи з великими даними.
Об’єктом дослідження є великі дані.
Предмет дослідження – обробка та аналіз великих даних на прикладі супермаркету.
Методи дослідження. В процесі дослідження використовувались - загальнонауковий діалектичний, аналітичний, синтетичний, історичний, індуктивний та дедуктивний методи, а також системний підхід.
Інформаційна база дослідження. У роботі використано дані кондитерського відділу супермаркету «Берегиня» та власні розрахунки автора з використанням програмних продуктів Excel2013 і Rules Wizard.
Наукова новизна роботи полягає в тому, що в ній проведено асоціативний аналіз на прикладі кондитерського відділу супермаркету «Берегиня».
Практичне значення одержаних результатів полягає у тому, що супермаркет «Берегиня» може використати наш асоціативний аналіз, для проведення правильного маркетингового рішення, що дасть змогу збільшити об’єми продажу, а відповідно і прибуток магазину.
Структура та обсяг роботи. Дипломна робота складається із вступу, трьох розділів, висновків, списку використаних джерел та додатків. Повний обсяг роботи становить 128 сторінок комп’ютерного тексту, який включає 19 рисунки та 1 таблиць, і 2 додатки на 13 стор. Список використаних джерел із 63.
Список литературы ВИCНOВКИ

"Big data" - модний нині термін, що фігурує майже на всіх професійних конференціях, присвячених аналізу даних, прогностичної аналітиці, інтелектуального аналізу даних (data mining), CRM. Термін використовується в сферах, де актуальна робота з якісно великими обсягами даних, де постійно відбувається збільшення швидкості потоку даних в організаційний процес: економіці, банківської діяльності, виробництві, маркетингу, телекомунікації, веб-аналітиці, медицині та ін.
Важко знайти галузь, для якої проблематика великих даних була б неактуальною. Уміння оперувати великими обсягами інформації, аналізувати взаємозв'язки між ними і приймати зважені рішення, з одного боку, несе потенціал для компаній з різних вертикалей для збільшення показників прибутковості і прибутковості, підвищення ефективності. З іншого боку, це прекрасна можливість для додаткового заробітку партнерам вендорів - інтеграторам і консультантам.
Великі дані призначені для обробки більш швидко одержуваних і мінливих відомостей, що означає глибоке дослідження та інтерактивність. У деяких випадках результати формуються швидше, ніж завантажується веб-сторінка.
Ядром банку даних служить база даних, яка являє собою сукупність взаємопов'язаних, що зберігаються разом даних при наявності мінімальної надмірності, яка допускає їх використання оптимальним чином для одного або декількох застосувань. При цьому дані запам'ятовуються так, щоб вони були незалежні від використовують їх програм; для додавання нових або перетворення існуючих даних, а також для пошуку даних в базі даних використовується загальний керований спосіб.
Для обробки даних, поданих масивом, найчастіше використовують цикли. При такій обробці часто виникає потреба відшукати певний елемент масиву, впорядкувати елементи за певними ознаками тощо.
Корпоративне сховище даних (Data Warehouse) - це не система ключових показників ефективності (КПЕ, KPI), це не велика база даних, це не аналітичний OLAP-інструмент, це не інтелектуальна система, що дозволяє добувати нові дані і отримувати статистичні залежності, це не система єдиної НДІ - це все не ХД, якщо говорити про нього в контексті окремо взятого пункту.
Продукти для вирішення завдання роботи з великими даними: TERADATA, Oracle, корпорація IBM, Informatica, SAP, Microsoft (SQL Server, PDW, ССОО, SSIS, служби Reporting Services, PowerPivot), EMC/Greenplum, HP/Vertica, SAS, Tableau, QlikTech, Jaspersoft.
Асоціативні зв'язки - це залежності виду, якщо відбулася подія A, то з певною ймовірністю відбудеться подія B. Асоціативні правила дозволяють знаходити закономірності між пов'язаними подіями. Вперше це завдання було запропоновано пошуку асоціативних правил для знаходження типових шаблонів покупок, що здійснюються в супермаркетах, тому іноді її ще називають аналізом ринкової корзини (market basket analysis).
Спочатку нами була сформована база даних на основі транзакцій відділу кондитерських виробів супермаркету «Берегиня», дані взяті за період з 1 вересня по 31 грудня 2013 року. І на основі цих даних в Rules Wizard проведено аналіз асоціативних правил.
 







СПИСОК ВИИКОРИСТАНИХ ДЖЕРЕЛ

1. http://www.statsoft.ru/products/Enterprise/big-data.php.
2. http://smallbusiness.ru/work/work/6826/.
3. http://www.tadviser.ru/.
4. http://russia.emc.com/index.htm.
5. http://www.idc.com/.
6. http://www.loglogic.co.uk/.
7. www.teradata.com.
8. www.oracle.com.
9. http://www.oracle.com/us/corporate/investor-relations/financials/q4fy12-1666263.pdf.
10. http://www.nasdaq.com/symbol/orcl.
11. http://money.cnn.com/magazines/fortune/fortune500/2010/snapshots/3057.
12. http://www.pcworld.com/article/147684/article.html.
13. http://www.gartner.com/newsroom/id/1356113.
14. http://panorama-consulting.com/.
15. http://www.channelregister.co.uk/2013/04/30/salesforce_worlds_biggest_crm/.
16. Ларрі Dignan Сонце покупка Oracle,: Класифікація результати досі (англ.). ZDNet. (25 березня 2011)..
17. http://www.idc.com/getdoc.jsp?containerId=prUS24367013.
18. Daft, Richard L. 2 // Organization theory and design. — Cengage Learning. — Mason, OH: Thomson, 2007. — P. 94-95. — 620 p. — ISBN 978-0-324-40542-2.
19. Colleen Graham, Dan Sommer, Bhavish Sood. Gartner Says Worldwide Relational Database Market Increased 14 Percent in 2006 (англ.). Gartner, Inc. (13 июня 2007). Проверено 30 декабря 2010..
20. Jack Clark. Oracle sends out MySQL 5.6 update (англ.). ZDNet (12 April 2011). — «MySQL is an alternative to Microsoft SQL Server».
21. Carl W. Olofson. Worldwide Embedded DBMS 2010–2014 Forecast and 2009 Vendor Shares (англ.). IDC (сентябрь 2010)..
22. Nigel Pendse. The origins of today’s OLAP products (англ.). OLAP Report (20 July 2002)..
23. Paul Krill. Oracle airs Java ambitions (англ.). Infoworld (21 сентября 2010).
24. Oracle Announces JDK Roadmap for Advancing Java SE (21 сентября 2010)..
25. JDK 7 Features (англ.). Oracle (19 September 2010)..
26. Oracle 9i JDeveloper FAQ (англ.). Oracle (2001).
27. Stephen Shenkland. Oracle bypassed: Programmers fork OpenOffice (англ.). CNet (28 September 2010)..
28. Steven J. Vaughan-Nichols. OpenSUSE 11.4: SUSE Linux Revitalized (англ.). ZDNet (10 March 2011). — «OpenSUSE also boasts that they’re the first major Linux distribution to bring LibreOffice».
29. Steven J. Vaughan-Nichols. Ubuntu opts for LibreOffice over Oracle's OpenOffice (англ.). ZDNet (24 January 2011)..
30. Paula Rooney. Oracle architect says there ought to be one Linux distribution: Red Hat (англ.). ZDNet (8 May 2008)..
31. www.ibm.com.
32. www.informatica.com.
33. Informatica Corporation. IPO Prospectus (англ.). Informatica (28 April 1999)..
34. Informatica Shares Soar (англ.). The New York Times (30 April 1999)..
35. Informatica Buys Influence Software for Analytic Apps (англ.). Computer Business Review. Progressive (15 December 1999)..
36. Richard Adhikari. Informatica's End-to-End Data Integration (англ.). Internet News (16 May 2008)..
37. Stamper, Jason. Informatica buys Applimation for $40m (англ.). Computer Business Review. Progressive..
38. Lingblom, Marie. Gartner: MDM Market Growing, Still Improving (англ.). Eye on IBM. Channel V (12 January 2012)..
39. www.sap.com.
40. www.microsoft.com.
41. www.greenplum.com.
42. www.vertica.com.
43. www.sas.com.
44. www.tableausoftware.com.
45. www.microstrategy.com.
46. www.qlikview.com.
47. «Магический квадрант по платформам бизнес-анализа за 2012 год».
48. www.jaspersoft.com.
49. R. Agrawal, R. Srikant. "Fast Discovery of Association Rules", In Proc. of the 20th International Conference on VLDB, Santiago, Chile, September 1994..
50. A. Savasere, E. Omiecinski, and S. Navathe, "An Efficient Algorithm for Mining Association Rules in Large Databases", In Proc. 21st Int’l Conf. Very Large Data Bases, Morgan Kaufmann, San Francisco, 1995..
51. J.S. Park, M.-S. Chen, and S.Y. Philip, "An Effective HashBased Algorithm for Mining Association Rules", In Proc. ACM SIGMOD Int’l Conf. Management of Data, ACM Press, New York, 1995..
52. S. Brin et al., "Dynamic Itemset Counting and Implication Rules for Market Basket Data", In Proc. ACM SIGMOD Int’l Conf. Management of Data, ACM Press, New York, 1997..
53. R. Srikant, R. Agrawal. "Mining quantitative association rules in large relational tables". In Proceedings of the ACM SIGMOD Conference on Management of Data, Montreal, Canada, June 1996..
54. Майер-Шенбергер, В. Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим / Виктор Майер-Шенбергер, Кеннет Кукьер; пер. с англ. Инны Гайдюк. — М. : Манн, Иванов и Фербер, 2014. — 240 с..
55. Виейра Роберт. Программирование баз данных Microsoft SQL Server 2005. Базовый курс : пер. с англ. / Р. Виейра. - М. : Диалектика, 2008. - 832 с.
56. Дейт, К. Дж. Введение в системы баз данных, 8-е издание.: Пер. с англ. - М.: Издательский дом «Вильямс», 2005. - 1328 с.: ил. - Парал. тит. англ. ISBN 5-8459-0788-8 (рус.)..
57. Грабер М. Введение в SQL. - М.: Лори, 2010. - 228 с. ISBN 5-85582-010-6..
58. Пасiчник В.В., Резніченко В.А. Організація баз даних та знань. - К.: Видавнича група BHV, 2006. - 384 с.: іл. ISBN 966-552-156-Х..
59. Исаченко, Александр Николаевич. Модели данных и системы управления базами данных : пособие для студ. / А.Н. Исаченко, С.П. Бондаренко. - Минск : БГУ, 2007. - 220 с..
60. Форта, Бен. Освой самостоятельно SQL. 10 минут на урок : пер. с англ. / Бен Форта. - М. : Вильямс, 2006. - 288 с..
61. Кайт Том. Oracle для профессионалов. Книга 1. Архитектура и основные особенности: Пер. с англ. - М.: ДиасофтЮП, 2003. - 672 с. ISBN 5-93772-072-5.
62. Кайт Том. Oracle для профессионалов. Книга 2. Расширение возможностей и защита: Пер. с англ. - М.: ДиасофтЮП, 2003. - 848 с. ISBN 966-7992-24-1.
63. Пасiчник В.В. та iн. Глобальнi iнформацiйнi системи та технологiї: моделi ефективного аналiзу, опрацювання та захисту даних. Монографiя / В.В. Пасiчник, П. I. Жежнич, Р. Б. Кравець, А. М. Пелещишин, Д. О. Тарасов. Львiв: Видавництво Львiвської полiтехнiки.
Стоимость доставки работы, в гривнах:

(при оплате в другой валюте, пересчет по курсу центрального банка на день оплаты)		 500





Найти готовую работу


ЗАКАЗАТЬ

Обратная связь:


Связаться

Доставка любой диссертации из России и Украины

Вход для партнеров

Регистрация

Восстановить доступ

Материал для курсовых и дипломных работ


Ссылки:

Выполнение и продажа диссертаций, бесплатный каталог статей и авторефератов

Счетчики:

Besucherzahler
счетчик посещений

© 2006-2022. Все права защищены.
Выполнение уникальных качественных работ - от эссе и реферата до диссертации. Заказ готовых, сдававшихся ранее работ.