Ошибка при обработке information is needed in order to combine data


  • All forum topics


  • Previous Topic

  • Next Topic

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎11-27-2018

07:10 PM

 I am getting this error message when refreshing (manually or via schedule) on Power BI service. This happened initially on a complex data model but I narrowed it down to being and issue with combine queries.

I simulated another example with just 2 tables from 2 databases on the same SQL server. Both tables are appended. All works well on desktop but refresh fails on service.  

The gateway is installed and has always worked (and still works on other reports that do not use merging/appending queries). 

I have tried all combinations possible with the privacy settings with no success

From other recent posts I understand I am not the only one to have this issue. 

For info, I do not think that it is the merging itself that causes the problem. I tried with 2 Excel tables on a SharePoint site and that worked just fine. 

Christine


Message 1 of 27

76,589 Views

2 ACCEPTED SOLUTIONS

v-qiuyu-msft

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎12-05-2018

01:28 AM

Hi @Anonymous,

Please download the report and open it in Power BI desktop, go to Query Editor, refresh data to see if any message pops out. Also please go to the Data Source Settings, click on Edit Permission for these two data sources points to two databases, ensure both privacy level is Organizational. 

Then republish the report to Power BI service, go to Manage Gateways, ensure Privacy Level for these two SQL data sources is Organizational as well. Then refresh the dataset again. 

Best Regards,
Qiuyun Yu 

Community Support Team _ Qiuyun Yu
If this post helps, then please consider Accept it as the solution to help the other members find it more quickly.


Message 5 of 27

76,416 Views

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎12-09-2018

05:24 PM

Hi @v-qiuyu-msft,

Thank you so much, you solved my problem. The issue was at the Manage Gateways, the privacy level was «Private». I couldn’t modify the existing datasource but could delete it and re-create it with the correct settings. 

Your help is really appreciated. 

Kind Regards,

Christine


Message 14 of 27

76,394 Views


  • All forum topics


  • Previous Topic

  • Next Topic

26 REPLIES 26

DanielHart

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎08-27-2021

12:58 AM

If anyone is still having this same error, then I have another thing for you to check.

I was having the same problem as everyone else, I had the privacy setting to Organizational on all queries, but still got the error.

It turned out to be that I had a query with Encrypt connections selected (unintentionally). Deselected this and re-published to PowerBI service and it worked.

DanielHart_0-1630051075035.png


Message 26 of 27

44,408 Views

rushkie

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎07-27-2021

06:11 AM

Mine is also the same case. It just said ‘More Information Needed’.
My connections are:
1. AsAzure
2. SharePoint
3. PowerBI Dataflow

All of the privacy levels are set to — Organizational. 

Tried different workspaces/ different combinations. 
On PowerBI Desktop it works fine but fails again on Service. On Service — all the credentials are set-up, no Gateway used, Privacy level settings are all ‘Organizational’. It still fails… 
This issue is quite random. I faced the same for some of my reports earlier (2 weeks ago).

Please help and let us know the rrot-cause as well as this is totally a grey area :slightly_smiling_face: .
Re: Has anything changed in Power BI Service? All … — Microsoft Power BI Community


Message 24 of 27

46,696 Views

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎07-27-2021

07:15 AM

Hi Rushkie, I ran into the same problem. For me the problem started two days ago. For some reason the datasets will still refresh in a certain workspace. This can be due to the fact that this is a premium capacity workspace, or simply that the dataset and dataflow are in the same workspace. Still trying to figure out what causes it exactly.


Message 25 of 27

46,618 Views

v-qiuyu-msft

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎12-11-2018

01:06 AM

Hi @Anonymous,

Good news. Smiley HappyAs the issue is resolved, I will close this thread. 

Best Regards,
Qiuyun Yu 

Community Support Team _ Qiuyun Yu
If this post helps, then please consider Accept it as the solution to help the other members find it more quickly.


Message 15 of 27

76,042 Views

michaelshparber

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎02-15-2019

10:15 AM

@v-qiuyu-msft 

I have the same problem

I combine 3 queries from APIs and get the same error

Each query is running fine separately

I have Organizational Privacy level

and I have Ignore Security option checked

I don’t have a Gateway since it’s APIs from the cloud

Please help!

Thanks

Michael

Message: Information is needed in order to combine data Table: ACCOUNTS_UNION.
Cluster URI: WABI-WEST-EUROPE-redirect.analysis.windows.net
Activity ID: 47507ca3-341a-4619-96ce-23236dffc7a4
Request ID: af71938c-b45a-9845-5792-90cc300416b0
Time: 2019-02-15 18:03:42Z


Message 16 of 27

75,850 Views

michaelshparber

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎02-15-2019

11:47 AM

I have spent 4 hours on this and I have narrowed the problem to one query

When I use it in Append — it causes the error

But the error is only in the service!!!!
Desktop is ok

There are no errors in the query itself and it loads OK by itself

DataSource is almost the same as the other two queries with just a slight difference in url

but the same Organizational Privacy and the same Basic authentication

Please help! @v-qiuyu-msft 

Thanks

Michael


Message 17 of 27

75,827 Views

ChristinW

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎02-15-2019

03:51 PM

Hi Michael,

So you publish to the online service, correct?

In my case the settings that were wrong were settings in the datasource on the online service. Desktop works well but when I published it to the service, it stopped working, generating the error message. 

For info, there are these settings within desktop (I think there are two) AND the setting on the Power BI online service that need to match each others. 

To fix it I :

  1. went to Power BI online,
  2. expanded the workspace with the faulty dashboard,
  3. in the section «Datasets» I clicked the ellipsis (3 dots) next to the dataset that had the issue,
  4. then option «Schedule Refresh».
  5. Expand the «Gateway connection» group
  6. click the «Actions» cogwheel (for info, there are other ways to get to the same point, this is just one).
  7. On the left hand side, open the Gateway cluster group and select the connection that has the issue. 
  8. There you will find the Authentication Method that seems to be the causing the trouble. As I said in my post, I could not alter an existing one to give it the appropriate settings, but it was easy enough to create a new one with the correct setting. 

As far as I remember, that was all that was required to fix it. 

All the best


Message 18 of 27

75,820 Views

michaelshparber

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎02-16-2019

05:54 PM

@ChristinW 

Thanks a lot Christin!

The problem is that I don’t have a Gateway…(I don’t need it since my data is from API)

I have talked to Microsoft Support and they tryied several things (delete dataset), publish to My workspace, and I also triple-checked my credentials

So somehow it is working now (I am still not sure what fixed it)

Thanks a lot!

Michael


Message 19 of 27

59,837 Views

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎07-27-2021

06:44 PM

I have the same problem, I don’t have a gateway but I already put the data sources as organizational, but in the same way it gives me this error

«Information is needed in order to combine data;Information about a data source is required.. The exception was raised by the IDbCommand interface. Table: NPIDataSource«

If I refresh the data in PB desktop it doesn’t give me an error, but in PB web it does


Message 22 of 27

46,367 Views

Rigensis

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎07-07-2021

12:58 AM

@Yggdrasill You must make sure that in ‘Power BI desktop > Data source settings > Edit permissions’ section the Privacy level for all the sources that make up the query merge or append, is set at ‘Organization’ level 

Then, when you upload the file to PBI Service, either in the gateway credentials section, or if they are cloud sources, then just in credentials section, click edit credentials and there make sure that all sources involved in the merge or append actions are set at organization privacy level.

With these two places set up identical to each other then you should be able to succesfully refresh the dataset


Message 21 of 27

49,240 Views

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎12-09-2018

05:24 PM

Hi @v-qiuyu-msft,

Thank you so much, you solved my problem. The issue was at the Manage Gateways, the privacy level was «Private». I couldn’t modify the existing datasource but could delete it and re-create it with the correct settings. 

Your help is really appreciated. 

Kind Regards,

Christine


Message 14 of 27

76,395 Views

v-qiuyu-msft

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎12-05-2018

01:28 AM

Hi @Anonymous,

Please download the report and open it in Power BI desktop, go to Query Editor, refresh data to see if any message pops out. Also please go to the Data Source Settings, click on Edit Permission for these two data sources points to two databases, ensure both privacy level is Organizational. 

Then republish the report to Power BI service, go to Manage Gateways, ensure Privacy Level for these two SQL data sources is Organizational as well. Then refresh the dataset again. 

Best Regards,
Qiuyun Yu 

Community Support Team _ Qiuyun Yu
If this post helps, then please consider Accept it as the solution to help the other members find it more quickly.


Message 5 of 27

76,417 Views

Amf_91

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎11-04-2022

06:03 AM

This solution didn’t works for me, the error mssage persist: 

Amf_91_0-1667566931547.png

I’ve tried all the privacy levels in desktop and online power bi but the error message continues. The Oracle connection is made through gateway. Is there any other solution that could solve the problem? 

Thank you


Message 12 of 27

17,424 Views

akkitek

  • Mark as New
  • Bookmark
  • Subscribe
  • Mute
  • Subscribe to RSS Feed
  • Permalink
  • Print
  • Report Inappropriate Content

‎09-20-2021

01:31 PM

Hey @v-qiuyu-msft,
Thanks for this solution. I have an appended table which is being driven by 3 different tables with privacy levels set to none. I was getting this error and when I changed the privacy levels of these 3 tables to «Organizational». It worked fine. But I am just trying to understand as to why does this error occur?


Message 11 of 27

43,265 Views

Recommend Projects

  • React photo
    React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo
    Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo
    Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo
    TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo
    Django

    The Web framework for perfectionists with deadlines.

  • Laravel photo
    Laravel

    A PHP framework for web artisans

  • D3 photo
    D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Visualization

    Some thing interesting about visualization, use data art

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo
    Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo
    Microsoft

    Open source projects and samples from Microsoft.

  • Google photo
    Google

    Google ❤️ Open Source for everyone.

  • Alibaba photo
    Alibaba

    Alibaba Open Source for everyone

  • D3 photo
    D3

    Data-Driven Documents codes.

  • Tencent photo
    Tencent

    China tencent open source team.

Jobs

Jooble

Неофициальное, открытое методическое пособие к программе Power BI и надстройкам над Excel Power Query и Power Pivot

  • Введение
    • Предисловие
    • Отказ от ответственности
    • Лицензия на использование
    • Добавление информации и внесение изменений в методическое пособие
  • Редактор запросов (Query Editor, он же Power Query)
    • Power Query в Power BI
    • Power Query в Excel 2010, 2013
    • Power Query в Excel 2016, 2019, 365
    • Зачем нужен Power Query
    • Что такое запрос (Query)
    • Действия над запросами (по правому щелчку мыши на них)
      • Duplicate (Дублировать)
      • Reference (Сослаться)
    • Шаг (Step)
    • Параметры в Power Query
    • Получение данных в Power Query
    • Типы данных в Power Query
      • Примитивные типы данных Power Query
      • Структурированные типы данных в Power Query
    • Задание типов данных для столбцов в Power Query
    • Автоматическое определение типов данных для столбцов
    • Создание дубликата столбца
    • Переименование столбцов
    • Remove Other Columns — удаление прочих столбцов
    • Split Column by Delimeter — Разделить текстовый столбец по разделителю
    • Действия над таблицами и столбцами таблиц
      • Append — добавление одной таблице к другой таблице
      • Merge — соединение данных одного запроса с другим запросом по общему ключу (аналог ВПР)
      • Соединение данных по составному ключ в Power Query
      • Команда Group by (сгруппировать по полю)
      • Добавление нового столбца в Power Query
        • if then else условия
        • Условный столбец (Conditional column)
        • Изменение типа данных у столбца с текстового на десятичный, в случае если в качестве разделителя десятичной части используется точка вместо запятой
        • Удалить дубликаты в столбцах
        • Count rows — Подсчитать количество строчек в текущей таблице
        • Извлечение шагов в отдельный запрос
        • Функция Сохранить строки (Keep Top Rows)
        • Функция Сохранить ошибки (Keer Errors)
        • Функция Заменить ошибки в столбце (Replace Errors)
    • Получение данных из различных источников
      • Получение данных из файлов
        • Получение данных из текстовых файлов (csv, tsv, txt и т.д.)
        • Извлечение данных из файлов лежащих в папке
      • Получение данных из интернета
        • Права доступа, Formula.Firewall
      • Символы разрыва строки
  • Power Pivot
    • Что такое Power Pivot в Excel
    • Что такое Power Pivot в Power BI
    • Что такое DAX
    • Модель данных
    • Таблицы
    • Функции Dax
    • Меры (Measures)
    • Быстрые меры (Quick Measures)
    • Вычисляемые Столбцы (Calculated Columns)
    • Контекст выполнения функции (Evaluation context)
    • Связь таблиц в модели данных
    • Связь таблиц по ключевому столбцу дата и time-intelligence функции
    • Часто используемые функции DAX
    • Метрики контекстной рекламы в DAX
    • Про абсолютные и относительные метрики в выгрузках
    • Формат отображения чисел в мерах и столбцах
    • Полезные ресурсы по DAX
  • Визуализации в Power BI
    • Срезы в Power BI — Слайсеры (Slicers)
      • Срезы с относительными датами (Relative slicers)
    • Настройка взаимодействия визуализаций (визуалов)
  • Настройки Power BI
    • Фоновые данные — разрешить скачивание в фоне (Background data — allow data preview)
  • Приложения
    • Горячие клавиши окна редактирования DAX формул
      • Базовое редактирование
      • Навигация
      • Поиск и замена
      • Мультикурсор и выделение
  • Вместо заключения

Введение

Предисловие

Первая версия данного методического пособия была создана Максимом Уваровым в рамках образовательного проекта NeedForData.ru. С 21.05.2018 учебное пособие опубликовано на GitHub под лицензией GPL 3.0 и с этого момента соавтором пособия может стать любой желающий.

Цель данного пособия: помочь начинающим пользователям Power BI, а также надстроек над Excel Power Query и Power Pivot, осваивать эти замечательные инструменты. Предполагается, что методическое пособие когда-нибудь станет более легковесной и человечной альтернативой текущей официальной справки по Power BI, расположенной по адресу: https://docs.microsoft.com/ru-ru/power-bi/

В данном методическом пособии поддерживаются расставление ссылок на подробные разборы описываемых тем в официальной справке Power BI или на других тематических ресурсах.

Отказ от ответственности

Авторы данного методического пособия не имеют отношения к корпорации Microsoft и ее продуктам Power BI, Excel, Power Query, Power Pivot. Авторы публикуют в данном методическом пособии собственноручно созданные учебные материалы, на публикацию которых они имеют все необходимые права.

Лицензия на использование

Данное методическое пособие может бесплатно использоваться для обучения. Методическое пособие предлагается к использованию в режиме AS-IS (как есть), под лицензией GPL 3.0. Полный текст лицензии опубликован по ссылке.

Согласно лицензии, если вы используете материалы данного учебного пособия в своей документации или своих учебных пособиях, то вы обязательно должны (включая, но не ограничиваясь):

  1. Поставить ссылки на первоисточник
  2. Обеспечить свободный доступ к вашим материалам

Добавление информации и внесение изменений в методическое пособие

Любой желающий может предложить исправления текущего методического пособия на Github. Для этого нужно:

  1. Сделать Fork проекта
  2. Внести необходимые изменения на языке разметки в markdown
  3. Создать Pull-request в основной репозиторий

Позже члены редколлегии методического пособия смогут рассмотреть ваши предложения.

Редактор запросов (Query Editor, он же Power Query)

Power Query в Power BI

В программе Power BI Desktop Power Query встроенный модуль. В справке и интерфейсе этот модуль называется Query Editor или редактор запросов. Power Query это основной инструмент данных в Power BI desktop. Как показано на скриншоте ниже все четыре выделенные кнопки относятся к редактору запросов Power Query.

Power Query в Excel 2010, 2013

Также, Power Query это надстройка над MS Excel 2010 — 2013. Она устанавливается дополнительно. Скачать надстройку можно по ссылке. На панели Ribbon в Excel 2010 и 2013 Power Query посвящена отдельная вкладка.

Power Query в Excel 2016, 2019, 365

В Excel 2016 и последующих версиях Power Query встроена. Найти ее можно на вкладке Data (Данные), блок «Get and Transform». Скриншоты, как Power Query выглядит в различных версиях офиса приведены ниже:

В зависимости от версии подписки Excel функционал Power Query может различаться.

Зачем нужен Power Query

Power Query нужен для удобного преобразования данных (ETL-процесса).

Согласно википедии — ETL (от англ. Extract, Transform, Load) — процесс в управлении хранилищами данных, который включает в себя:

  • извлечение данных из внешних источников;
  • их трансформация и очистка, чтобы они соответствовали потребностям бизнес-модели;
  • и загрузка их в хранилище данных.

Power Query отлично подходит для задач:

  • подключения к разнообразным источникам (различным типам файлов, api, базам данных и т.п.);
  • для удобного и гибкого преобразования данных в необходимый формат;
  • Для создания повторяемых последовательностей обработки данных.

Что такое запрос (Query)

Запрос (Query) это программа на языке M, задающая последовательность обработки данных.

В своем теле запрос может обращаться к неограниченному количеству источников данных (включая другие запросы). Результат выполнения запроса может иметь любой из поддерживаемых структурированнных или примитивных типов данных, например:

  • таблица — table
  • значение — value,
  • список — list,
  • запись — record и т.д.

Список из всех запросов в Excel можно увидеть в разных местах.

В списке из запросов книги (Queries Pane) интерфейсе Excel 2016:

В интерфейсе самого Power Query:

У каждого запроса есть свое имя.

Имя запроса можно увидеть в нескольких местах. Там же его можно изменить:

В интерфейсе Excel 2016.

В интерфейсе Power Query.

По имени запроса можно обращаться к результатам этого запроса из других запросов.

В случае, если имя запроса содержит пробелы (например, состоит из нескольких слов), то при обращении к этому запросу из других запросов он начинается с # и заключается в кавычки:

Действия над запросами (по правому щелчку мыши на них)

Duplicate (Дублировать)

Команда Duplicate позволяет создать новый запрос и продублировать в нем все шаги исходного запроса (т.е. при дублировании появляется новый запрос с #"Имя (2)", в котором содержатся все шаги из исходного запроса). Новый запрос, созданный при использовании команды Duplicate, никак не связан с оригинальным запросом.

Reference (Сослаться)

Создать новый запрос, в первом шаге которого обратиться по имени к оригинальному запросу.

Шаг (Step)

Отдельный этап обработки данных в рамках конкретного Запроса.

Запрос состоит из шагов и включает как минимум один шаг.

На каждое примененное действие в интерфейсе создается новый шаг.

Список шагов конкретного запроса можно посмотреть в правой части экрана в панели настроек Запроса.

Каждый шаг это отдельная переменная, расположенная на отдельной строчке кода в скрипте запроса на языке программирования M.

Чтобы посмотреть формулу конкретного шага необходимо включить отображение строки формул на вкладке view и выбрать интересующий шаг в панели «Applied Steps».

Очередность шагов можно менять через интерфейс, используя контекстное меню.

А также перетаскивая шаги в списке.

Параметры в Power Query

  • 🇺🇲Статья о параметрах Power Query

Получение данных в Power Query

Чтобы начать работать с Power Query, необходимо настроить получение данных из какого-либо источника. Сделать это можно из интерфейса Power Query в Power BI по нажатию на кнопку Get Data.

В Excel 2010-2013 сделать это можно нажав на кнопки с указанием различных источников на панели Ribbon.

А также из интерфейса Power Query в Excel.

Типы данных в Power Query

В Power Query существуют примитивные и структурированные типы данных. Примитивные типы данных содержат в себе лишь одно значение, в то время как структурированные типы данных могут содержать в себе как одно так и множество значений. В зависимости от заданного типа данных

Примитивные типы данных Power Query

  • Decimal number — десятичное число
    Number.Type или type number
  • Time — время
    Time.Type или type time
  • Date — дата
    Date.Type или type date
  • Date / Time — дата / время
    DateTime.Type или type datetime
  • Date / Time / Timezone — дата / время / часовая зона
    DateTimeZone.Type или type datetimezone
  • Duration — длительность
    Duration.Type или type duration
  • Fixed Decimal number — десятичное округленное до 4 знака
    Currency.Type
  • Whole number — целое число
    Int64.Type
  • Text — текст
    Text.Type или type text
  • True/False — истина / ложь
  • Binary — двоичный код (например, изображение в формате bmp)
  • Percentage — проценты
    Percentage.Type

Структурированные типы данных в Power Query

  • Table — таблица #table({"Заголовок1", "Заголовок2"}, { {"Строка1Столбец1", "Строка1Столбец2"}, {"Строка2Столбец1", "Строка2Столбец2"} })
  • List — список {1,2,4} - список из элементов Чисел со значениями 1, 2, 4
  • Record — запись [field1 = "текст в кавычках", field2 = "текст в кавычках2"]

Задание типов данных для столбцов в Power Query

Присвоенные отдельным столбцам типы данных определяют операции, которые применимы к ним. Если выбрать столбец, то примененные к нему типы данных можно увидеть в следующих местах:

  • Типы данных столбцов таблицы обозначаются иконками в области заголовков:

  • При выбранном столбце, его тип данных в Power BI и Excel на вкладке «Home»

  • При выбранном столбце, его тип данных в Power BI и Excel на вкладке «Transform»

Автоматическое определение типов данных для столбцов

В Power Query есть функция «автоматически определять типы данных». При помощи данной функции Power Query будет подбирать тип данных к столбцу на основ первой тысячи строчек конкретного столбца.

автоматически определять типы данных

Создание дубликата столбца

Команда на Ribbon:

Создание дубликата столбца

Команда в контекстном меню:

Создание дубликата столбца команда в контекстном меню

Переименование столбцов

Чтобы переименовать столбец нужно дважды щелкнуть на его названии:

Переименование столбцов Power Query

Remove Other Columns — удаление прочих столбцов

Для повышения личной эффективности (за счет лучшего фокуса на конкретных цифрах), сохранения оперативной памяти и поддержки быстродействия моделей следует оставлять в модели данных только необходимые данные (только необходимые столбцы и строчки).

Для этих целей отлично работает команда «remove other columns» (удалить прочие столбцы).

Remove Other Columns - удаление прочих столбцов

Split Column by Delimeter — Разделить текстовый столбец по разделителю

Команду «разделить столбец по разделителю» можно найти в нескольких местах:

Кнопка на Ribbon — Split Column

Split Column by Delimeter - Разделить текстовый столбец по разделителю

В контекстном меню, по щелчку на заголовок столбца.

Разделить столбец по произвольному разделителю

Указать максимальное количество столбцов

Действия над таблицами и столбцами таблиц

Append — добавление одной таблице к другой таблице

Из интерфейса Power Query:

Из интерфейса Excel:

Merge — соединение данных одного запроса с другим запросом по общему ключу (аналог ВПР)

Начало операции из интерфейса Power Query:

Начало операции merge из интерфейса Excel:

Выбор таблицы, из которой будем подтягивать данные, определение ключевых столбцов и типа операции

Соединение данных по составному ключ в Power Query

После нажатия на кнопку OK мы видим новый столбец с кнопкой

Нажимаем на кнопку, раскрываем столбец и выбираем желаемую операцию

Expand — развернуть данные из выбранных столбцов

Aggregate — подсчитать данные в конкретных столбцах

Важно помнить что типы данных у ключевых столбцов (в обеих таблицах) должны быть одинаковыми.

Команда Group by (сгруппировать по полю)

Команду можно вызвать по клику на кнопку на панели Ribbon

Также команду можно вызвать из контекстного меню (если нажать правой кнопкой на заголовке столбца)

Интерфейс команды Group By с комментариями представлен на скриншоте ниже:

Добавление нового столбца в Power Query

if then else условия

Для выбора действия в зависимости от условия в Power Query используется структура с оператором if then else

Пример:

if [столбец1] 0 then [столбец2] else [столбец3]

Условный столбец (Conditional column)

Мастер добавления столбца с условным значением (условного столбца), формирует значение столбца согласно заданным правилам. Мастер добавления условного столбца можно найти в Power Query, на вкладке добавления столбца, как показано на скриншоте ниже.

Пояснения к мастеру конфигурации условного столбца показаны на скриншоте ниже.

Для сведения — задаваемые условия в интерфейсе мастера пишут команду скрипта содержащего операторы if then else. Это значит, что первым будет проверено первое условие в мастере условного столбца. Все множество значений будет проверено по этому условию. В случае, если будут найдены результаты удовлетворяющие первому условию, то для них будет присвоено значение по результатам выполнения первого условия. Для остальных значений из множества, будет проверено следующее условие. И так далее, до тех пор, пока не будут проверенны все условия. Если для элементов множества не будет выполненно ни одно условие, то в условный столбец попадет значение из поля «В противном случае / (otherwise)».

При создании условий важно помнить, операции сравнения включающие type null и другие типы данных, возвращают ошибку в качестве результата. Подробнее об этом можно прочитать в блоге у Максима Зеленского

Изменение типа данных у столбца с текстового на десятичный, в случае если в качестве разделителя десятичной части используется точка вместо запятой
  1. Необходимо щелкнуть правой кнопкой на заголовке столбца
  2. Выбрать пункт «Change type»
  3. И далее выбрать пункт «Using locale»
  4. Выбираем страну, где в качестве разделителя используется точка (например, USA)
Удалить дубликаты в столбцах

Команда «Remove Duplicates» проходит по выбранным столбцам (если выбрана вся таблица, то по всей таблице) и смотрит в них повторяющиеся ячейки (строчки, в случае если выбрана таблица). Если дубликаты найдены функция оставляет первую попавшуюся уникальную строчку и удаляет все последующие повторяющиеся Найти команду можно на Ribbon — Home — Remove Duplicates (Удалить дубликаты в выбранных столбцах)

Либо найти команду можно щелкнув правой кнопкой на заголовке одного или нескольких выбранных столбцов. В случае, если выбраны несколько столбцов, то тогда будут удалены все неуникальные сочетания значений в каждой отдельной строчке в выбранных столбцах.

Удалить дубликаты строк в таблице можно нажав на кнопку в левом верхнем углу таблицы предпросмотра.

Аналогичного результата можно добиться если использовать команду «Group By»

Count rows — Подсчитать количество строчек в текущей таблице

Извлечение шагов в отдельный запрос

Для выполнения необходимо щелкнуть правой кнопкой на конкретном шаге обработки. Выбрать пункт меню «Extract previous steps»

ввести имя нового запроса, который будет создан на основе предыдущих шагов

Функция Сохранить строки (Keep Top Rows)

Функция Сохранить ошибки (Keer Errors)

Функция Заменить ошибки в столбце (Replace Errors)

Функция доступна по нажатию правой кнопкой на заголовке столбца и позволяет заменить ошибки в столбце (например, получившиеся после применения нового типа данных) на выбранное значение. Обратите внимание, что по состоянию на 2019-07-29 функция доступна лишь при выборе одного столбца.

Получение данных из различных источников

Получение данных из файлов

Получение данных из текстовых файлов (csv, tsv, txt и т.д.)

При получении данных из текстового файла в Power Query открывается окно мастера настроек импорта файла.

Извлечение данных из файлов лежащих в папке

Выбираем в качестве типа источника папку. Далее выбираем конкретную папку с файликами, которые предполагается объединить. Файлики должны быть одного типа и с одинаковыми столбцами.

В появившемся окошке предпросмотра данных жмем на кнопочку edit.

Получение данных из интернета

Права доступа, Formula.Firewall

Текст взят из Power bi formula firewall privacy settings — marketing-wiki.ru

При работе в Power BI, при обращении к внешним источникам данных вроде различных API могут возникать ошибки вроде: OLE DB or ODBC error: [information is needed in order to combine data]

или Formula.Firewall: Query is accessing data sources that have privacy levels which cannot be used together. Please rebuild this data combination

Это ошибки, которые возникают из-за встроенного в Power BI Fomrula.Firewall — механизма, который следит, чтобы данные из Power BI передавались только согласно выставленным правилам доступа.

то есть Power Bi пытается защитить нас, чтобы мы случайно не отправили какие-либо данные (вроде токена) на сервер-злоумышленника.

Однако, если мы работаем с API, то нам неминуемо нужно отправлять данные в интернет. Соответственно, чтобы не иметь проблем в этом процессе проще всего в настройках Power BI выключить Formula.Firewall. Это делается в разделе Privacy. Нужно выбрать 3-й пункт — «ignore privacy level settings»

ignore privacy level settings

Символы разрыва строки

При помощи операции найти или для разделения ячейки на отдельные строчки можно воспользоваться символами #(cr)#(lf) либо воспользоваться функцией Lines.FromText

Power Pivot

Что такое Power Pivot в Excel

Power Pivot — это надстройка над Excel, представляющая из себя быструю колоночную базу данных VertiPaq с языком запросов DAX (часто вместо VertiPaq говорят Power Pivot). В отличие от Excel число строк загруженных в Power Pivot ограничено лишь размером доступной оперативной памяти компьютера. Быстродействие Power Pivot во много раз превосходит быстродействие формул в Excel. Также Power Pivot по производительности превосходит и Power Query (при этом часто он потребляет меньше ресурсов). Результаты выполнения запросов доступны пользователям в сводных таблицах и сводных диаграммах MS Excel. Таким образом сводные таблицы выступают аналитическим интерфейсом к данным хранящимся в Power Pivot.

Что такое Power Pivot в Power BI

В Power BI Power Pivot встроен как база данных, к которой присоединяются различные визуализации.

Что такое DAX

Dax (Data Analysis Expressions) — это язык программирования использующийся для запросов в базе данных VertiPaq.

Модель данных

Модель данных — совокупность таблиц, связей между ними и вычисляемых мер в базе данных VertiPaq. Благодаря своей быстроте модель данных позволяет создавать мгновенно пересчитывающиеся меры, которые, в свою очередь, позволяют создавать интерактивные визуализации.

Таблицы

Таблицы — совокупность строк, разделённых на столбцы.

У каждого столбца задан тип данных (который, как правило, наследуется из типов данных заданных для столбцов в Power Query).

У столбцов с числовыми типами данных можно увидеть значок сигмы Слева от них. И такие столбцы по умолчанию будут просуммированы, в случае если добавить их в область значений любой визуализации.

Если же добавить в область значений столбцы с не числовыми типами данных (без значка сигмы), то к ним будет применена операция по умолчанию: count (подсчет количества значений).

Список из таблиц загруженных в модель данных можно найти в дереве fields в правой части окна Power BI.

Каждая таблица имеет название, по которому к данным конкретной таблицы можно обращаться в мерах и вычисляемых столбцах. В случае если в названии таблицы присутствует пробел или не латинские символы, то при обращении к таблице извне её название заключается в одинарные кавычки автоматически:

'название с пробелом'

Однако, если мы заключим в кавычки название таблицы без пробелов, то все будет работать как предполагалось:

'название'

Функции Dax

Функции языка Dax похожи на функции Excel, с той лишь разницей, что в качестве аргументов используют столбцы, целые таблицы или скалярные выражения (простые значения), а не ячейки.

В качестве разделителей аргументов в зависимости от локали используются:

  • «;» (и «,» для десятичных)
  • «,» (и «.» для десятичных)

Меры (Measures)

Вычисляются только в момент использования. Рассчитываются в рамках текущего контекста фильтров. Именно это свойство позволяет строить интерактивные визуализации, которые фильтруются при нажатии на определенные области конкретных визуализаций. Меры хоть и принадлежат конкретной таблице, но могут быть перенесены в любую другую таблицу в рамках документа. Поэтому хорошая практика при использовании мер формулах не включать название таблицы, в которо й мера лежит. То есть вместо 'таблица'[мера] писать просто [мера].

Быстрые меры (Quick Measures)

Функционал быстрых мер позволяет создавать сложные DAX формулы без написания кода. Вместо написания кода нужно сконфигурировать желаемую меру в графическом интерфейсе. Подробнее о быстрых мерах можно прочитать в справке по Power BI

Вычисляемые Столбцы (Calculated Columns)

Рассчитываются однажды во время обновления таблицы в модели данных. Вычисляемые столбцы занимают место в памяти. Вычисляемые столбцы рассчитываются в рамках контекста строки. В отличие от мер, вычисляемые столбцы могут использоваться для фильтрации и сортировки таблиц. Принадлежат конкретной таблице и их лучше указывать в формулах вместе с названием таблицы, даже если Power Pivot позволяет этого не делать.

Подробнее про столбцы и меры читать здесь:

  • Calculated Columns and Measures in DAX — SQLBI

Контекст выполнения функции (Evaluation context)

В Power Pivot существуют два контекста выполнения формулы, которые действуют одновременно:

  • Контекст фильтров (Filter context)
  • Контекст строк (Row context)

Это массивная и сложная тема. На момент написания методички автор так и не разобрался с темой до того уровня, чтобы рассказывать об этом окружающим. Потому рекомендую обратиться к достоверным источникам вроде:

  • Марко Руссо и Альберто Феррари https://www.sqlbi.com/.
  • Справка Microsoft Power BI: Основные сведения о DAX в Power BI Desktop

Связь таблиц в модели данных

Для связи таблиц в модели данных в одной из таблиц в ключевом поле должны быть уникальные значения. Также столбцы должны быть одного типа данных.

Направление связи имеет значение. Вычисляемые столбцы могут использоваться для создания связей между таблицами.

Справка: Создание связей и управление ими в Power BI Desktop — Power BI | Microsoft Docs

Связь таблиц по ключевому столбцу дата и time-intelligence функции

В случае, если в модели данных есть отдельная таблица-календарь (вроде такой), и если таблица с фактами связана с таблицей-календарем по полю дата, то для создания быстрых мер в поле дата нужно использовать столбец с датами из таблицы календаря. Столбец с датами из таблицы с фактами в быстрых мерах работать не будет.

Часто используемые функции DAX

SUM (Столбец) — Cумма чисел по столбцу

COUNTA (Столбец) — Количество значений в столбце

DISTINCTCOUNT (Столбец) — Количество уникальных значений в столбце

SUMX (Таблица, Выражение) — Сумма значений выражения, которое выполняется для каждой строчки таблицы

DIVIDE (Значение числителя, значение знаменателя, альтернативный вариант в случае ошибки деления числителя на знаменатель) — Безопасное деление

IFERROR (Значение, Значение если ошибка) — Если ошибка

IF (Логическое выражение, значение если правда, значение если ложь ) — Если

Метрики контекстной рекламы в DAX

CTR (Кликабельность)

= SUM ( Клики ) / SUM ( Показы ) 

CPC (Цена клика)

= SUM ( Расход ) / SUM ( Клики )

Ставка (Максимальная цена клика установленная рекламодателем)

Ставка Средняя

Ставка СреднеВзвешенная на клики

= SUMX ( ставка * клики ) / SUM ( клики )

Ставка СреднеВзвешенная на показы

= SUMX ( ставка * показы ) / SUM (показы)

CR (Коэффициент конверсии фактический)

= SUM ( транзакции ) / SUM ( сессии )

Ключевая фраза: количество

= COUNTA ( ключевая фраза )

Ключевая фраза: количество уникальных

= DISTINCTCOUNT ( ключевая фраза )

Про абсолютные и относительные метрики в выгрузках

Средний показатель отказов рассчитывается по формуле:

= SUM ( отказы ) / SUM ( визиты )

Если в выгрузке нет абсолютного числа ОТКАЗОВ, но есть ПОКАЗАТЕЛЬ ОТКАЗОВ, то для каждой строчки с исходными данными предварительно необходимо рассчитать абсолютное число ОТКАЗОВ. Для этого нужно умножить ПОКАЗАТЕЛЬ ОТКАЗОВ на ЧИСЛО ВИЗИТОВ. После этого у вас появится возможность рассчитывать средний показатель отказов корректно.

Аналогичным образом следует поступить с глубиной просмотра и временем на сайте.

Распространенная ошибка рассчитывать СРЕДНИЙ ПОКАЗАТЕЛЬ ОТКАЗОВ в качестве встроенной меры AVERAGE по столбцу ПОКАЗАТЕЛЬ ОТКАЗОВ (см скрин. http://bit.ly/2JMKSl1).

Так средний показатель отказов рассчитывать некорректно.

Формат отображения чисел в мерах и столбцах

Формат отображения значений мер задается при выбранной мере, на вкладке «Modeling», в блоке «Formating»

Формат отображения значений мер в Power BI

Полезные ресурсы по DAX

  • sqlbi.com/articles/calculated-columns-and-measures-in-dax/
  • powerpivotpro.com/2013/02/when-to-use-measures-vs-calc-columns/
  • Клевый курс на udemy про Power Pivot
  • Книга: The Definitive Guide to DAX: Business intelligence with Microsoft Excel, SQL Server Analysis Services, and Power BI (Business Skills) 1st Edition
  • Daxpatterns.com
  • Канал Curbal на youtube с подробными обучающими видео DAX Fridays

Визуализации в Power BI

Срезы в Power BI — Слайсеры (Slicers)

  • Справка

Срезы с относительными датами (Relative slicers)

  • https://docs.microsoft.com/ru-ru/power-bi/desktop-slicer-filter-date-range

Настройка взаимодействия визуализаций (визуалов)

  • Справка

Настройки Power BI

Фоновые данные — разрешить скачивание в фоне (Background data — allow data preview)

Загрузку данных в фоне часто рекомендуют отключить, во избежание проблем с производительностью. Ссылки по теме:

  1. Параметр Allow Data Preview To Download In The Background в Power Query и Power BI — статья Криса Вебба: перевод 🇷🇺, оригинал 🇺🇲.
  2. Ветка, в предложения выключить эту настройку по умолчанию uservoice.

Приложения

Горячие клавиши окна редактирования DAX формул

Базовое редактирование

Клавиша Описание
Ctrl+X Вырезать строку (Пустое выделение)
Ctrl+C Скопировать строку (Пустое выделение)
Alt+↑ Alt+↓ Перемещает текущую строку вверх / вниз
Shift+Alt+↑ Shift+Alt+↓ Копирует строку и вставляет её выше / ниже
Ctrl+Shift+K Удаляет строку
Shift+Enter Добавить новую строку ниже под курсором
Ctrl+] Ctrl+[ Увеличить / уменьшить отступ строки
Tab Shift+Tab Увеличить / уменьшить отступ строки
Home End Перейти в начало / конец строки
Ctrl+Home Ctrl+End Перейти в начало / конец DAX формулы
Ctrl+K Ctrl+C Ctrl+K Ctrl+U Поставить / убрать однострочный комментарий
Ctrl+/ Поставить или убрать однострочный комментарий
Shift+Alt+A Поставить или убрать однострочный комментарий

Навигация

Клавиша Описание
Ctrl+G Перейти к строке
F8 Shift+F8 Перейти к ближайшей / следующей ошибке или предупреждению

Поиск и замена

Клавиша Описание
Ctrl+D Выделить слово под курсором целиком, при повторном нажатии выделяет аналогичные слова по тексту
Ctrl+K Ctrl+D Перейти к следующему совпадающему выделению### Мультикурсор и выделение

Мультикурсор и выделение

Клавиша Описание
Ctrl+A Выделить все
Alt+Клик Добавить курсор к выделению
Ctrl+Alt+↑ Ctrl+Alt+↓ Добавить мультикурсор выше / ниже
Ctrl+U Убрать последнее выделение курсора
Ctrl+F2 Выделяет все вхождения слова
Ctrl+Shift+L Выделяет все вхождения выделенного текста
Shift+Alt+→ Shift+Alt+← Расширить / уменьшить текущее выделение по строке

Вместо заключения

Данное методическое пособие было выложен в открытый доступ 21.05.2018. С тех пор каждый желающий способен внести в него правки или дополнить его собственной актуальной информацией.

Сделать это можно по адресу: https://github.com/power-bi/PowerBI-book-ru

Upd: по состоянию на 30-09-2018 в методическом пособии появилась статья от @DmitriyVlasov про шпаргалку с горячими клавишами

[мера]: [information is needed in order to combine data]: [столбец3]: [столбец2]: [столбец1]:

I had this happen to me on a dataset that was refreshing OK in the Power BI Desktop application but not refreshing in the service. The service was giving the error: “Information is needed in order to combine data”

The dataset was a very simple combination of 2 tables. The 2 tables were a result of 2 API calls done with an API key on a cloud website.

The error “Information is needed in order to combine data” was only happening on the Power BI service. When I was trying to refresh the dataset, it would not do it.

If I checked the permission levels in Power BI Desktop, the credential are set to to Anonymous as they should be since the authentication is done through an API key. The privacy level can be set to anything in the Desktop application, the refresh will work. However, if setup to anything other than Organizational, the dataset would error out when trying to refresh in Power BI Service.

Solution

First, set the permissions to Organizational in Power BI desktop. Then publish the report.

Next, go to the Power BI service, where the report is published, go to settings and go to Data Source Credentials.

Click on “Edit Credentials” for all your data sources and make sure that the Privacy Level is set to Organizational. Once I set that, I was able to refresh the dataset in the Power BI Service as well.

This fixed it for me. I hope it will fix it for you as well.

I worked on a dataset connected through Web API. Multiple tables are appended and used in the report. 

I got the below mentioned error while refreshing manually and scheduled in Power BI service, but it is refreshed in power BI desktop without any error. 

Processing error: Information is needed in order to combine data  

Cluster URI: WABI-INDIA-WEST-redirect.analysis.windows.net  

Activity ID: a2a5bbe3-830e-47e4-a552-77cf2d267310  

Request ID: 4de4e4b0-43ac-203f-0df7-40dc38473d0e  

Time: 2022-05-02 08:03:01Z 

I tried several options by changing privacy settings also.  

I am explaining here the option which is worked. 

  1. Download the report from Power BI Service 
  1. Open in Power BI Desktop 
  1. Go to query editor 
  1. Refresh all data in query editor to see if there is any pop-up message 
  1. Go to Data Source Settings and click Edit Permissions for all data sources and ensure privacy level is Organizational. 
  1. Republish the report to Power BI Service. 
  1. Go to Data Source Credentials in Power BI Service > Settings and ensure Privacy level is Organizational. 
  1. Refresh the dataset again. 

Addend Analytics is a Microsoft Power BI-partner based in Mumbai, India. Apart from being authorized for Power BI implementation, Addend has successfully executed Power BI projects for 100+ clients across sectors like Financial Services, Banking, Insurance, Retail, Sales, Manufacturing, Real estate, Logistics, and Healthcare in countries like the US, Europe, Switzerland, and Australia. Get a free consultation now by emailing us at kamal.sharma@addendanalytics.com. 

Praisy Joy 

Data Analyst 

Addend Analytics


Go to PowerBI


Information is needed in order to combine data Table (upon refreshing datasource)

Just a bit frustrated, I have looked about and tried everything that I can find could possibly be the issue. yet still, the same error message coming up using the POWER BI web App.

My plan was to have a live dataset of information pulled from a website that I can use within my files. Using the Power BI desktop this seems to work, and extremely well. However when publishing to the Web app / Sharepoint., and clicking refresh on the data set from there, I get an «Information is needed in order to combine data Table… Cluster URI WABI-EUROPE-NORTH-B-redirect.analysis.windows.net» I have changed the security settings to Anonymous, none and even skip test as the source of the data is free. I have even gone over all my Power Bi Query code and amended it, made it as efficient as possible, but still no avail.

My file pulls data from one website but uses Functions / Parameters to pull multiple results into one table. I have even written using RelativePath[…] as well thinking that that would work. am seriously starting to struggle again. thinking I am getting good at this, something always throws me a curveball.

any help or advice or ideas to try would be very much appreciated. Thanks in advance!

  • Ошибка при обращении к ndbafp dll lotus
  • Ошибка при обновлении яндекс браузера
  • Ошибка при обращении к bifit signer что это значит
  • Ошибка при обновлении явы
  • Ошибка при обращение к реестру ole на windows 10